吳恩達斯坦福大學CS230《深度學習》課程內容歸納總結放出，全文干貨。對于不方便正式上課的同學們來說，相信這份核心內容總結一定會對你有所幫助。

作為全球計算機四大名校之一，斯坦福大學的CS230《深度學習》課程一直受到全球計算機學子和從業人員的熱烈歡迎。

CS230授課人為全球著名計算機科學家吳恩達和他的助教Kian Katanforoosh。

日前，MIT的Afshine Amidi和斯坦福大學的Shervine Amidi在博客上整理了一份CS230課程知識點的歸納總結，在Reddit上引發熱議。

評論網友紛紛表示喜大普奔，對于沒有條件上課或者沒趕上授課時間的人來說，看看這份總結貼也能獲益頗豐。

這份總結提要基本遵循CS230的授課思路和流程，分三大方面由淺入深地介紹了深度學習的基本概念、網絡模型、研究和實驗操作方法等。三部分內容分別為：卷積神經網絡、遞歸神經網絡、提示與技巧。

本文主要介紹這份總結的第一部分，即CNN部分的內容，后兩部分RNN、竅門與技巧部分，讀者可自行參看Github上放出的資源:

卷積神經網絡（CNN）

https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-convolutional-neural-networks

遞歸神經網絡（RNN）

https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks

技巧與竅門

https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-deep-learning-tips-and-tricks

囊括全部內容的“超級VIP”pdf下載

https://github.com/afshinea/stanford-cs-230-deep-learning/blob/master/super-cheatsheet-deep-learning.pdf

卷積神經網絡結構：卷積層、池化層、全連接層

傳統的卷積神經網絡由輸入圖像、卷積層、池化層和全連接層構成。

卷積層（CONV）：使用過濾器執行卷積操作，掃描輸入大小。它的超參數包括濾波器的Size和Stride。結果輸出O稱為特征映射或激活映射。

池化層（POOL）是一種下采樣操作，通常在卷積層之下使用，該卷積層執行一些空間不變性。其中最大池化和平均池化屬于特殊操作，分別采用最大值和平均值。

全連接層（FC）在平坦輸入上運行，每個輸入都連接到所有神經元。如果全連接層存在，通常位于網絡體系結構的末尾，可用于優化諸如分類評分等目標。

過濾器超參數

過濾器維度:大小為F×F的過濾器應用在Cchannel上維度為F×F×C。

Stride：對于卷積和池化操作而言，Stride表示每次操作后窗口移動的像素數量。

Zero-padding表示對輸入邊界的每一端加入P個零的過程。這個值可以通過下圖中所示的三個方式手動指定，也可以自動設置。

超參數的調整

卷積層中的超參數兼容性：記輸入量長度為I，過濾器長度為F，補零數量為P，Stride量為S，則該維度下特征映射的輸出大小O可用下式表示：

理解模型的復雜度：為了獲取模型復雜度，常常可以通過相應架構下的參數數量來達到這一目標。在給定的卷積神經網絡層中，該過程如下圖所示：

感受野：層K上的感受野區域記為Rk×Rk，即第K次激活映射可以“看見”的每個輸入像素。若層j上的過濾器大小為Fj，層i上的Stride值為Si，且S0=1，則層k上的感受野可以由下式計算出：

常用激活函數

整流線性單元:整流線性單元層（ReLU）是激活函數g，作用于所有元素。它旨在為網絡引入非線性特征，其變量總結在下圖中：

Softmax:可以視作一個作用于網絡架構末端通用邏輯函數，輸入為分數向量，輸出為概率向量。其定義如下：

物體檢測

模型的類型：

有三類主要的物體識別算法，其預測的性質是不同的。如下表的描述：

三類物體識別算法

檢測(Detection)：

在對象檢測的上下文中，根據我們是僅想要定位對象還是想要在圖像中檢測更復雜的形狀，可以使用不同的方法。下面總結了兩個主要的方法：

邊界框檢測和特征點檢測

Intersection over Union：

Intersection over Union（交并比），也稱為IoU，是一種量化預測邊界框在實際邊界框上的正確定位的函數。它的定義是：

備注：IoU∈[0,1]。按照慣例，如果IoU(Bp,Ba)?0.5，預測邊界框Bp被認為是合理的。

Anchor boxes：

Anchor boxing是一種用于預測重疊邊界框的技術。在實際應用中，網絡可以同時預測多個box，其中每個box的預測被約束具有給定的一組幾何特性。例如，第一個預測可能是給定形狀的矩形框，而第二個預測可能是另一個形狀不同的矩形框。

Non-max suppression：

Non-max suppression技術旨在通過選擇最具代表性的對象來刪除同一對象的重疊邊界框。在刪除了概率預測低于0.6的所有框之后，在剩余框中重復以下步驟：

對于一個給定的類，

步驟1：選擇具有最大預測概率的框。

步驟2：刪除任何與前一個框的IoU?0.5的框。

YOLO - You Only Look Once，這是一種對象檢測算法，它執行以下步驟：

步驟1：將輸入圖像分割成G×G的網格。

步驟2：對于每個網格單元，運行一個CNN網絡，預測下面公式中的y：

其中是檢測對象的概率，是檢測到的邊界框的屬性，是檢測到的p類的one-hot representation，k是anchor boxes的數量。

步驟3：運行 non-max suppression 算法，刪除任何可能的重復重疊邊界框。

R-CNN

Region with Convolutional Neural Networks (R-CNN) 是一種對象檢測算法，它首先對圖像進行分割以找到潛在的相關邊界框，然后運行檢測算法，在那些邊界框中找到最可能的對象。

備注：雖然原始算法計算成本高且速度慢，但新的架構能讓算法運行得更快，例如Fast R-CNN和Faster R-CNN。

面部驗證和識別

模型類型：下面總結了兩種主要類型的模型：

One Shot Learning

One Shot Learning是一種面部驗證算法，它使用有限的訓練集來學習相似函數，該函數量化兩個給定圖像的差異。應用于兩個圖像的相似度函數通常被標注為d(image 1,image 2).。

Siamese Network

Siamese Networks的目的是學習如何編碼圖像，然后量化不同的兩個圖像。對于給定的輸入圖像，編碼輸出通常記為

Triplet loss

Triplet loss ?是在圖像A(anchor),P(positive) 和N(negative)這三個圖像的嵌入表示上計算的損失函數。 anchor和positive示例屬于同一個類，negative示例屬于另一個類。通過調用margin參數，該損失定義如下：

神經風格遷移

動機：

神經風格轉移（neural style transfer）的目標是基于給定內容C和給定風格S，生成圖像G。

激活：

在給定層l中，激活被標記為，并且具有維度

內容成本函數（Content cost function）

內容成本函數用于確定生成的圖像G與原始內容圖像C的不同之處。它的定義如下：

風格矩陣（Style matrix）

style matrix是一個Gram矩陣，其中每個元素量化了通道k和k'的相關性。它是根據激活

風格成本函數（Style cost function）

風格成本函數用于確定生成的圖像G與風格S的不同之處。它的定義如下：

總成本函數（Overall cost function）

總成本函數的定義是內容和風格成本函數的組合，由參數α, β加權，如下所示：

使用計算技巧的架構

生成對抗網絡（Generative Adversarial Network）

生成對抗網絡，也稱為GAN，由生成模型和判別模型組成，其中生成模型旨在生成最真實的輸出，這些輸出將被用于區分生成圖像和真實圖像。

ResNet（Residual Network）

殘差網絡架構（也稱為ResNet），使用具有大量層的residual blocks來減少訓練誤差。 residual blocks 具有以下特征：

Inception Network

該架構使用 inception modules，目的是嘗試不同的卷積，以通過特征的多樣化來提高其性能。具體來說，它使用1×1卷積技巧來限制計算負擔。