機(jī)器學(xué)習(xí)（machine learning） 已然成為無數(shù)重要應(yīng)用的基石——如今，在網(wǎng)絡(luò)搜索、垃圾郵件檢測、語音識別以及產(chǎn)品推薦等領(lǐng)域，你都能夠發(fā)現(xiàn)它的身影。如果你或你的團(tuán)隊正在研發(fā)一款機(jī)器學(xué)習(xí)相關(guān)應(yīng)用，并期待取得較快進(jìn)展，那么這本書將會是你的得力助手。

?

　　案例：建立貓咪圖片初創(chuàng)公司

　　想象一下，你正在建立一家初創(chuàng)公司，這家公司的產(chǎn)品目標(biāo)是為貓咪愛好者們提供數(shù)不盡的貓咪圖片，你打算應(yīng)用 神經(jīng)網(wǎng)絡(luò)（neural network） 技術(shù)來構(gòu)建一套計算機(jī)視覺系統(tǒng)，通過該系統(tǒng)來識別圖片中的貓。

　　但悲劇的是，目前你的學(xué)習(xí)算法準(zhǔn)確度還不夠好。為了改進(jìn)這個貓咪檢測器，你正面臨著巨大的壓力。可你該怎么做呢？

　　你的團(tuán)隊給出了許多建議，例如：

　　● 獲取更多的數(shù)據(jù)，即收集更多的貓咪圖片

　　● 收集更加多樣化的訓(xùn)練數(shù)據(jù)集，圖片中貓的位置可能不常見，也有可能顏色奇異，或者拍攝時使用不同的相機(jī)參數(shù)

　　● 通過增加梯度下降的迭代次數(shù)，使算法訓(xùn)練得久一些

　　● 嘗試一個擁有更多層/更多隱藏元/更多參數(shù)的，規(guī)模更大的神經(jīng)網(wǎng)絡(luò)

　　● 嘗試一個更小的神經(jīng)網(wǎng)絡(luò)

　　● 嘗試加入正則化（例如 L2 正則化）

　　● 改變神經(jīng)網(wǎng)絡(luò)的架構(gòu)（激活函數(shù)，隱藏元數(shù)量等等）

　　● 。..

　　在上面眾多的方向中，如果你做出了正確的選擇，就將建立起一個效果領(lǐng)先的貓咪圖片識別平臺，并帶領(lǐng)你的公司取得成功。但如果你選擇了一個糟糕的方向，則可能因此浪費(fèi)掉幾個月的時間。那么你該如何做出決定呢？

　　這本書將告訴你應(yīng)該怎么做。眾多的機(jī)器學(xué)習(xí)問題會留下一些線索，告訴你什么樣的嘗試有用，什么樣的沒用。而學(xué)會解讀這些線索將會節(jié)省你幾個月甚至幾年的開發(fā)時間。

　　先修知識與符號說明

　　如果你有學(xué)習(xí)過機(jī)器學(xué)習(xí)相關(guān)課程（例如我在 Coursera 開設(shè)的機(jī)器學(xué)習(xí) MOOC），或者有過監(jiān)督學(xué)習(xí)的應(yīng)用經(jīng)驗，這本書的內(nèi)容對你而言則不難理解。

　　本書假設(shè)你熟悉 監(jiān)督學(xué)習(xí)（supervised learning） 概念，即使用標(biāo)注（labeled）的訓(xùn)練樣本（x，y） 來學(xué)習(xí)一個從 x 映射到 y 的函數(shù)。監(jiān)督學(xué)習(xí)算法主要包括線性回歸（linear regression）、對數(shù)幾率回歸（logistic regression，又譯作邏輯回歸、邏輯斯蒂回歸）和神經(jīng)網(wǎng)絡(luò)（neural network）。雖然機(jī)器學(xué)習(xí)的形式有許多種，但當(dāng)前具備實用價值的大部分機(jī)器學(xué)習(xí)算法都來自于監(jiān)督學(xué)習(xí)。

　　我將經(jīng)常提及神經(jīng)網(wǎng)絡(luò)（也被人們稱為“深度學(xué)習(xí)” ），但你只需對這個概念有基礎(chǔ)的了解便可以閱讀本書后面的內(nèi)容。

　　規(guī)模驅(qū)動機(jī)器學(xué)習(xí)發(fā)展

　　關(guān)于深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）的一些想法在幾十年前就有了，那為什么它們到現(xiàn)在才流行起來了呢？

　　推動其近期發(fā)展的主要因素有兩個：

　　- 數(shù)據(jù)可用性（data availability） ：如今人們在數(shù)字設(shè)備（筆記本電腦、移動設(shè)備等）上花費(fèi)的時間越來越多，對應(yīng)的數(shù)字化行為與活動產(chǎn)生了海量的數(shù)據(jù)，而這些數(shù)據(jù)都可以提供給我們的學(xué)習(xí)算法用來訓(xùn)練。

　　- 計算規(guī)模（computational scale） ：在近幾年前，我們才開始有能力訓(xùn)練出規(guī)模足夠大的神經(jīng)網(wǎng)絡(luò)來使用現(xiàn)有的海量數(shù)據(jù)集。

　　具體來說，即使你積累了更多的數(shù)據(jù)，但應(yīng)用在類似于對數(shù)幾率回歸（logistic regression）這樣較傳統(tǒng)的學(xué)習(xí)算法上，其性能表現(xiàn)（performance）也將趨于 “平穩(wěn)” 。這意味著算法的學(xué)習(xí)曲線將 “變得平緩” ，就算提供更多的數(shù)據(jù)，算法的性能也將不再提升。

　　傳統(tǒng)學(xué)習(xí)算法似乎并不知道要如何來處理現(xiàn)今這般規(guī)模量級的數(shù)據(jù)。

　　在同樣的監(jiān)督學(xué)習(xí)任務(wù)下，選擇訓(xùn)練一個小型的神經(jīng)網(wǎng)絡(luò)（neutral network， NN），你可能會獲得較好的性能表現(xiàn)：