從 2017 年開(kāi)始，fast.ai 創(chuàng)始人、數(shù)據(jù)科學(xué)家 Jeremy Howard 以每年一迭代的方式更新“針對(duì)編程者的深度學(xué)習(xí)課程”（Practical Deep Learning For Coders）。這場(chǎng)免費(fèi)的課程可以教大家如何搭建最前沿的模型、了解深度學(xué)習(xí)的基礎(chǔ)知識(shí)。直到今年已經(jīng)是第三個(gè)年頭了。

1 月 24 日，fast.ai 上線(xiàn) 2019 版深度學(xué)習(xí)新課程。據(jù)介紹，該課程 100% 全新，包括以前從未涵蓋過(guò)的深度學(xué)習(xí)入門(mén)課程，甚至其中某些技術(shù)成果還尚未發(fā)表學(xué)術(shù)論文。

如以往一樣，Jeremy Howard 公開(kāi)了本次課程將涵蓋的所有細(xì)節(jié)內(nèi)容。他表示，本次課程共有七節(jié)，每節(jié)課大約 2 小時(shí)，當(dāng)然，預(yù)計(jì)完成課后作業(yè)的時(shí)間將有 10 小時(shí)。

課程將涉及的應(yīng)用案例

本次課程設(shè)計(jì)關(guān)鍵應(yīng)用包括：

計(jì)算機(jī)視覺(jué)（例如按品種分類(lèi)寵物照片）

圖像分類(lèi)

圖像定位（分割和激活圖）

圖像關(guān)鍵點(diǎn)

NLP（如電影評(píng)論情緒分析）

語(yǔ)言建模

文檔分類(lèi)

表格數(shù)據(jù)（如銷(xiāo)售預(yù)測(cè)）

分類(lèi)數(shù)據(jù)

連續(xù)數(shù)據(jù)

協(xié)作過(guò)濾（如電影推薦）

課程涵蓋的基礎(chǔ)

課程鏈接傳送：https://course.fast.ai

目標(biāo)人群：至少有一年的編程經(jīng)驗(yàn)，且最好是 Python，fast.ai 還提供了Python 相關(guān)的學(xué)習(xí)資源。

第 1 課：圖像分類(lèi)

該系列課程第一課，是訓(xùn)練一個(gè)能以最高精準(zhǔn)度識(shí)別寵物品種的圖像分類(lèi)器。其中，遷移學(xué)習(xí)的使用時(shí)本次課程的基礎(chǔ)。我們將了解如何分析模型，以了解其失效模型，或許還能發(fā)現(xiàn)，模型出錯(cuò)的地方與育種專(zhuān)家犯了相同的錯(cuò)誤。

訓(xùn)練和分析寵物品種分類(lèi)器

我們將討論課程的整體方法，這與先理論再實(shí)際應(yīng)用的方式不同，課程旨在先進(jìn)行實(shí)際應(yīng)用再深入研究。

我們還將討論如何在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)設(shè)置最重要的超參數(shù)：學(xué)習(xí)率（這主要基于 Leslie Smith 的 learning rate finder）。最后，還會(huì)介紹“標(biāo)簽”的問(wèn)題，并了解 fast.ai 所提供的功能，如可以輕松將標(biāo)簽添加到圖像中。

第 2 課：數(shù)據(jù)清洗與構(gòu)建；梯度下降法（SGD）

本節(jié)課程將學(xué)習(xí)如何使用自己的數(shù)據(jù)構(gòu)建圖像分類(lèi)模型，主要包括以下幾方面：

圖像收集

并行下載

創(chuàng)建驗(yàn)證集

數(shù)據(jù)清洗，通過(guò)模型找到數(shù)據(jù)問(wèn)題

如下圖所示，我們可以創(chuàng)建一個(gè)可區(qū)分泰迪熊和灰熊任務(wù)的模型。

將模型投入生產(chǎn)

課程后半部分，將完整訓(xùn)練一個(gè)較為簡(jiǎn)單的模型，同時(shí)創(chuàng)建一個(gè)梯度下降循環(huán)。（注：在此過(guò)程中，將學(xué)習(xí)到很多新的術(shù)語(yǔ)，所以請(qǐng)確保做好筆記，因?yàn)樵谡麄€(gè)課程中都會(huì)引用這個(gè)新術(shù)語(yǔ)。）

第3課：數(shù)據(jù)塊；多標(biāo)簽分類(lèi)；分割

本節(jié)課開(kāi)始將主要研究一個(gè)有趣的數(shù)據(jù)集，叫做“Planet’s Understanding the Amazon from Space”。為了將這些數(shù)據(jù)轉(zhuǎn)化為模型需要的形式，將使用 fast.ai 工具之一的數(shù)據(jù)塊 API。

Planet 數(shù)據(jù)集的一個(gè)重要特征是，它是一個(gè)多標(biāo)簽數(shù)據(jù)集。也就是說(shuō)，每個(gè)Planet圖像可包含多個(gè)標(biāo)簽，而之前看過(guò)的數(shù)據(jù)集，每個(gè)圖像只有一個(gè)標(biāo)簽。此外，可能還需要對(duì)多標(biāo)簽數(shù)據(jù)集進(jìn)行修改。

圖像分割模型的結(jié)果

接下來(lái)的圖像分割，是一個(gè)標(biāo)記圖像中每個(gè)像素的過(guò)程，其中一個(gè)類(lèi)別顯示該像素描繪的對(duì)象類(lèi)型。將使用與早期圖像分類(lèi)類(lèi)似的技術(shù)，所以不需要太多調(diào)整。

本課程中還會(huì)使用到 CamVid 數(shù)據(jù)集，該模型誤差遠(yuǎn)低于在學(xué)術(shù)文獻(xiàn)中找到的任何模型。

假設(shè)：如果你的因變量是連續(xù)值而不是類(lèi)別怎么辦？我們將重點(diǎn)回答這個(gè)問(wèn)題，查看關(guān)鍵點(diǎn)數(shù)據(jù)集，并構(gòu)建一個(gè)精準(zhǔn)預(yù)測(cè)面部關(guān)鍵點(diǎn)的模型。

第 4 課：NLP；表格數(shù)據(jù)；協(xié)同過(guò)濾；嵌入（Embeddings）

使用 IMDb 電影評(píng)論數(shù)據(jù)集深入研究自然語(yǔ)言處理（NLP）。在這項(xiàng)任務(wù)中，目標(biāo)是預(yù)測(cè)電影評(píng)論是積極的還是消極的，這稱(chēng)為“情緒分析”。此前，在 fast.ai 2018 課程里提到的 ULMFit 算法，對(duì) NLP 的發(fā)展起著重要作用。紐約時(shí)報(bào)曾報(bào)道：“新系統(tǒng)開(kāi)始瓦解自然語(yǔ)言的代碼。”ULMFiT 被認(rèn)為是當(dāng)今最準(zhǔn)確的情緒分析算法。

基本步驟如下：

（首選）創(chuàng)建（或下載預(yù)訓(xùn)練的）語(yǔ)言模型，該模型在大型語(yǔ)料庫(kù)（如維基百科）上訓(xùn)練。（“語(yǔ)言模型”指的是學(xué)習(xí)預(yù)測(cè)句子下一個(gè)單詞的任意一種模型。）

使用目標(biāo)語(yǔ)料庫(kù)（案例為 IMDb 電影評(píng)論）微調(diào)該語(yǔ)言模型。

在微調(diào)語(yǔ)言模型中刪除編碼器，并用分類(lèi)器進(jìn)行替換。然后對(duì)微調(diào)該模型以完成最終分類(lèi)任務(wù)（情緒分類(lèi)）。

在學(xué)習(xí) NLP 的過(guò)程中，我們將通過(guò)覆蓋表格數(shù)據(jù)（如電子表格和數(shù)據(jù)庫(kù)表格）以及協(xié)作過(guò)濾（推薦系統(tǒng)）來(lái)完成使用的編碼器深度學(xué)習(xí)的實(shí)際應(yīng)用。

對(duì)于表格數(shù)據(jù)，我們還將看到如何使用分類(lèi)變量和連續(xù)變量，以及如何使用 fast.ai. tabular 模塊來(lái)設(shè)置和訓(xùn)練模型。

在課程中期，我們主要研究了如何在每個(gè)關(guān)鍵應(yīng)用領(lǐng)域中構(gòu)建和解釋模型，包括：計(jì)算機(jī)視覺(jué)、NLP、表格數(shù)據(jù)、協(xié)同過(guò)濾等。

在課程的后半部分，我們將了解這些模型如何真正起作用、如何從頭開(kāi)始創(chuàng)建的過(guò)程，會(huì)涉及以下幾部分：

激活

參數(shù)

圖層（仿射和非線(xiàn)性）

損失函數(shù)

第 5 課：反向傳播；加速SGD；構(gòu)建神經(jīng)網(wǎng)絡(luò)

本節(jié)課程中，將所有的訓(xùn)練融合在一起，以便討論反向傳播時(shí)準(zhǔn)確理解發(fā)生了什么，并利用這些只是從頭構(gòu)建一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。

在這個(gè)過(guò)程中，可以看到嵌入層的權(quán)重，以找出模型從分類(lèi)變量的中學(xué)到了什么。

盡管嵌入在 NLP 的單詞嵌入環(huán)境中最廣為人知，但它們對(duì)一般的分類(lèi)變量也同樣重要，例如表格數(shù)據(jù)或協(xié)同過(guò)濾。它們甚至可以與非神經(jīng)模型一起使用并取得巨大成功。

第 6 課：正規(guī)化；卷積；數(shù)據(jù)倫理

本節(jié)課主要討論一些改進(jìn)訓(xùn)練和避免過(guò)度擬合的技術(shù)：

Dopout：在訓(xùn)練期間隨機(jī)刪除激活，使模型正規(guī)化

數(shù)據(jù)增強(qiáng)：在訓(xùn)練期間修改模型輸入，以便有效增加數(shù)據(jù)大小

批量標(biāo)準(zhǔn)化：調(diào)整模型的參數(shù)化，使損失表面更加平滑

單個(gè)圖像的數(shù)據(jù)增強(qiáng)示例

接下來(lái)，我們將學(xué)習(xí)有關(guān)卷積的所有內(nèi)容，卷積可被視為矩陣乘法的一種變體，也是現(xiàn)代計(jì)算機(jī)視覺(jué)模型的核心操作基礎(chǔ)。

我們將創(chuàng)建一個(gè)類(lèi)激活圖。這是一個(gè)熱圖，顯示圖像的哪些部分在進(jìn)行與測(cè)試時(shí)最重要。

卷積如何運(yùn)作

最后，我們還將提到：數(shù)據(jù)倫理。同學(xué)們將了解到模型出錯(cuò)的一些方法，尤其是反饋循環(huán)，其原因以及如何避免這些問(wèn)題。我們還將研究數(shù)據(jù)偏差可能導(dǎo)致偏向算法的方式，并討論數(shù)據(jù)科學(xué)家可以而且應(yīng)該提出的問(wèn)題，以確保他們的工作不會(huì)導(dǎo)致意外的負(fù)面結(jié)果。

美國(guó)司法系統(tǒng)中算法偏差的例子

第 7 課：構(gòu)建 ResNet、U-Net；生成對(duì)抗網(wǎng)絡(luò)

在最后一講中，我們將研究現(xiàn)代架構(gòu)中最重要的技術(shù)之一：跳躍連接（skip connection）。跳躍連接是 ResNet 最重要的應(yīng)用，其主要在課程中用于圖像分類(lèi)，同樣它還是很多前沿成果的基石。

我們還將研究 U-Net 架構(gòu)，使用不同類(lèi)型的跳躍連接極大改善了分段結(jié)果。

ResNet跳躍連接對(duì)損失表面的影響

然后，使用 U-Net 架構(gòu)來(lái)訓(xùn)練超分辨率模型。這是一種可以提高低質(zhì)量圖像分辨率的模型，該模型不僅會(huì)提高分辨率，還會(huì)刪除 jpeg 圖片上偽跡和文本水印。

為了使我們的模型產(chǎn)生高質(zhì)量的結(jié)果，需要?jiǎng)?chuàng)建一個(gè)自定義損失函數(shù)，其中包含特征損失（也稱(chēng)為感知損失）以及 gram 損失。這些技術(shù)可用于許多其他類(lèi)型的 圖像生成模型，例如圖像著色。

使用特征損失和 gram 損失的超分辨率結(jié)果

我們將了解到一種稱(chēng)為生成性對(duì)抗性損失（用于生成性對(duì)抗性網(wǎng)絡(luò) GAN）的損失函數(shù)，可以在某些情況下以犧牲速度為代價(jià)來(lái)提高生成模型的質(zhì)量。

例如，上文提到的還未發(fā)表的一些論文中所涉及的應(yīng)用：

利用遷移學(xué)習(xí)，更快更可靠地訓(xùn)練 GAN

將架構(gòu)創(chuàng)新和損失函數(shù)方法以前所未有的方式進(jìn)行結(jié)合

結(jié)果令人驚嘆，只需要幾個(gè)短短幾小時(shí)便可進(jìn)行訓(xùn)練（與以前需要幾天的方法相比）。

一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)

最后，我們還將學(xué)到如何從頭開(kāi)始創(chuàng)建遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。實(shí)際上，RNN 不僅是整套課程中 NLP 應(yīng)用的基礎(chǔ)模型，還被證明是規(guī)則的多層神經(jīng)網(wǎng)絡(luò)的一個(gè)簡(jiǎn)單重構(gòu)。

課前須知：

1、Google Cloud 和微軟 Azure 作為贊助方，已將課程所需的全部功能集成到基于 GPU 的平臺(tái)上，并且提供“一鍵式”平臺(tái)服務(wù)，如 Crestle 和Gradient 服務(wù)。

2、完成第一堂課后，學(xué)生可以在自己的數(shù)據(jù)上訓(xùn)練圖像分類(lèi)模型。整個(gè)上半部分重點(diǎn)是實(shí)用技術(shù)，僅展示在實(shí)踐中用到的技術(shù)相關(guān)理論知識(shí)；課程的后半部分，將深入研究理論。直到最后一節(jié)課，將學(xué)習(xí)構(gòu)建和訓(xùn)練一個(gè) Resnet 的神經(jīng)網(wǎng)絡(luò)，以求接近最佳準(zhǔn)確性。

3、 課程使用 PyTorch 庫(kù)進(jìn)行教學(xué)，可更輕松訪(fǎng)問(wèn)推薦的深度學(xué)習(xí)模型最佳實(shí)踐，同時(shí)也可以直接使用所有底層的 PyTorch 功能。

4、學(xué)習(xí)內(nèi)容同樣適用于 TensorFlow/keras、CNTK、MXnet 或者任何其他深度學(xué)習(xí)庫(kù)的任何任務(wù)。

5、電腦需要連接到安裝了 fast.ai 庫(kù)的云 GPU 供應(yīng)商服務(wù)，或設(shè)置一個(gè)適合自己的 GPU。同時(shí)，還需要了解運(yùn)行深度學(xué)習(xí)訓(xùn)練的 Jupyter Notebook 環(huán)境的基礎(chǔ)知識(shí)。

6、課程筆記本提供了新的交互式GUI，用于使用模型查找和修復(fù)錯(cuò)誤標(biāo)記或錯(cuò)誤收集的圖像。

7、（強(qiáng)烈）建議學(xué)院參加該課程的在線(xiàn)社區(qū)。