一、dropout目的

Dropout是在《ImageNet Classification with Deep Convolutional》這篇論文里提出來為了防止神經(jīng)網(wǎng)絡(luò)的過擬合。它的主要思想是讓隱藏層的節(jié)點在每次迭代時(包括正向和反向傳播)有一定幾率(keep-prob)失效。這樣來預(yù)防過擬合。它主要避免對某個節(jié)點的強依賴，讓反向傳播的修正值可以更加平衡的分布到各個參數(shù)上。還有如果一些節(jié)點失效，實際上也和我們減少網(wǎng)絡(luò)復(fù)雜度是一樣的道理。所以可以防止過擬合。

二、dropout方法

（1）訓(xùn)練階段

Dropout是在標(biāo)準(zhǔn)的bp網(wǎng)絡(luò)的的結(jié)構(gòu)上，使bp網(wǎng)的隱層激活值，以一定的比例v變?yōu)?，即按照一定比例v，隨機地讓一部分隱層節(jié)點失效；在后面benchmark實驗測試時，部分實驗讓隱層節(jié)點失效的基礎(chǔ)上，使輸入數(shù)據(jù)也以一定比例（試驗用20%）是部分輸入數(shù)據(jù)失效（這個有點像denoising autoencoder），這樣得到了更好的結(jié)果。

去掉權(quán)值懲罰項，取而代之的是，限制權(quán)值的范圍，給每個權(quán)值設(shè)置一個上限范圍；如果在訓(xùn)練跟新的過程中，權(quán)值超過了這個上限，則把權(quán)值設(shè)置為這個上限的值（這個上限值得設(shè)定作者并沒有說設(shè)置多少最好，后面的試驗中作者說這個上限設(shè)置為15時，最好；為啥？估計是交叉驗證得出的實驗結(jié)論）。

此外，還可以使算法使用一個比較大的學(xué)習(xí)率，來加快學(xué)習(xí)速度，從而使算法在一個更廣闊的權(quán)值空間中搜索更好的權(quán)值，而不用擔(dān)心權(quán)值過大。

（2）測試階段

Dropout只發(fā)生在模型的訓(xùn)練階段，預(yù)測、測試階段則不用Dropout

三、關(guān)于dropout需要知道的

直觀認(rèn)識：Dropout隨機刪除神經(jīng)元后，網(wǎng)絡(luò)變得更小，訓(xùn)練階段也會提速

事實證明，dropout已經(jīng)被正式地作為一種正則化的替代形式

有了dropout，網(wǎng)絡(luò)不會為任何一個特征加上很高的權(quán)重（因為那個特征的輸入神經(jīng)元有可能被隨機刪除），最終dropout產(chǎn)生了收縮權(quán)重平方范數(shù)的效果

Dropout的功能類似于L2正則化，但Dropout更適用于不同的輸入范圍

如果你擔(dān)心某些層比其它層更容易過擬合，可以把這些層的keep-prob值設(shè)置的比其它層更低

Dropout主要用在計算機視覺領(lǐng)域，因為這個領(lǐng)域我們通常沒有足夠的數(shù)據(jù)，容易過擬合。但在其它領(lǐng)域用的比較少

Dropout的一大缺點就是代價函數(shù)不再被明確定義，所以在訓(xùn)練過程中，代價函數(shù)的值并不是單調(diào)遞減的

使用時，先關(guān)閉Dropout，設(shè)置keep-prob為1，使代價函數(shù)的值單調(diào)遞減，然后再打開Dropout