電子發燒友App
創作
發文章
發帖 
提問 
發資料
發視頻現在我們對單個變量的函數的導數有了相當深入的理解，讓我們回到我們最初的問題，我們正在考慮可能有數十億權重的損失函數。
22.4.1。高維微分
第 22.3 節告訴我們的是，如果我們改變這數十億個權重中的一個，而讓其他權重保持不變，我們知道會發生什么！這無非是一個單變量的函數，所以我們可以這樣寫
(22.4.1)L(w1+?1,w2,…,wN)≈L(w1,w2,…,wN)+?1ddw1L(w1,w2,…,wN).
我們將一個變量的導數稱為偏導數，同時將其他變量固定為偏導數，我們將使用符號 ??w1對于(22.4.1)中的導數 。
現在，讓我們改變一下w2一點點 w2+?2:
(22.4.2)L(w1+?1,w2+?2,…,wN)≈L(w1,w2+?2,…,wN)+?1??w1L(w1,w2+?2,…,wN+?N)≈L(w1,w2,…,wN)+?2??w2L(w1,w2,…,wN)+?1??w1L(w1,w2,…,wN)+?1?2??w2??w1L(w1,w2,…,wN)≈L(w1,w2,…,wN)+?2??w2L(w1,w2,…,wN)+?1??w1L(w1,w2,…,wN).
我們再次使用了這樣的想法?1?2是一個更高階的項，我們可以用我們可以丟棄的相同方式丟棄
上傳資料賺積分
工商網監
評論