知識蒸餾是一種模型壓縮常見方法

Attention Transfer , 傳遞teacher網絡的attention信息給student網絡。首先，CNN的attention一般分為兩...

2019-07-27 標簽：模型梯度cnn 1.5萬 0

RNN存在的問題及其改進方法，并介紹更多復雜的RNN變體

梯度爆炸/消失不僅僅是RNN存在的問題。由于鏈式法則和非線性激活函數，所有神經網絡（包括前向和卷積神經網絡），尤其是深度神經網絡，都會出現梯度消失/爆炸...

2019-05-05 標簽：神經網絡梯度rnn 1.7萬 0

三種常見的損失函數和兩種常用的激活函數介紹和可視化

從上面闡釋的步驟可以看出，神經網絡中的權重由損失函數的導數而不是損失函數本身來進行更新或反向傳播。因此，損失函數本身對反向傳播并沒有影響。下面對各類損失...

2019-05-05 標簽：函數梯度可視化 7521 0

以線性回歸算法來對三種梯度下降法進行比較

從上面公式可以注意到，它得到的是一個全局最優解，但是每迭代一步，都要用到訓練集所有的數據，如果樣本數目 m 很大，那么可想而知這種方法的迭代速度！所以，...

2019-04-19 標簽：函數梯度機器學習 4308 0

微流控技術為在推動生物學眾多領域的強大工具做出了巨大貢獻

微流控技術可以控制通道中的流體層流流動，從而產生多個數量級的濃度梯度。目前已經有一些研究使用這些梯度來分析蛋白梯度中的中性粒細胞的遷移和白細胞介素-8（...

2019-04-10 標簽：芯片梯度微流控 1.3萬 0

梯度下降算法在深度學習中扮演著舉足輕重的地位

這里的歐幾里得距離公式也可以換成其他距離公式（下文延伸分享其他距離公式）。這同樣也解釋了，我們為什么有時候在損失函數里面加上一個L2損失函數會更好，這樣...

2019-04-10 標簽：算法梯度深度學習 2811 0

一種不同于雙線性插值的上采樣方法

我們可以看到，該網絡將傳統的非線性插值替換成 DUpsample，同時在 feature fuse 方面，不同于之前方法將 Decoder 中的特征上采...

2019-04-08 標簽：函數梯度數據集 6716 0

一種WS新方法，那它可以超越GN、BN嗎？

其中 W^ 卷積層的權重，* 是卷積運算。將圖2 所示作為一個例子，WS方法不會直接在原始權重上進行優化，而是采用另一個函數 W^=WS（W）來表示原始...

2019-04-08 標簽：算法梯度深度學習 7458 0

訓練模型：討論兩種訓練方法

梯度下降是一種非常通用的優化算法，它能夠很好地解決一系列問題。梯度下降的整體思路是通過的迭代來逐漸調整參數使得損失函數達到最小值。

2019-04-05 標簽：梯度線性回歸訓練模型 8297 0

為什么要有attention機制，Attention原理

沒有attention機制的encoder-decoder結構通常把encoder的最后一個狀態作為decoder的輸入（可能作為初始化，也可能作為每一...

2019-03-06 標簽：Decoder梯度機器翻譯 1.7萬 0

梯度爆炸問題的介紹和如何解決爆炸問題詳細概述

最近在做一個文本檢測的項目，在訓練的過程中遇到了很嚴重的梯度爆炸情況，今天就來談談梯度爆炸怎么解決。

2018-04-30 標簽：神經網絡梯度 1.5萬 0

從方向導數這個角度來解析梯度的負方向為什么是局部下降最快的方向

剛接觸梯度下降這個概念的時候，是在學習機器學習算法的時候，很多訓練算法用的就是梯度下降，然后資料和老師們也說朝著梯度的反方向變動，函數值下降最快，但是究...

2018-02-05 標簽：算法梯度機器學習 9970 0