當(dāng)一個人真正想在機器學(xué)習(xí)中取得一定成就時，他需要深入微積分、線性代數(shù)，掌握一定的統(tǒng)計學(xué)知識，研究的深度越深，數(shù)學(xué)基礎(chǔ)的重要性就越顯而易見。但是，機器學(xué)習(xí)和數(shù)學(xué)的這種緊密關(guān)系卻也會帶來誤解，現(xiàn)在，一些人已經(jīng)傾向于把機器學(xué)習(xí)視為美化統(tǒng)計的手段，更有甚者，一些業(yè)內(nèi)人士也開始迷失于混淆，失去了努力的方向。

隨著圍繞深度學(xué)習(xí)的炒作逐漸消退，像上圖這樣的惡搞漫畫開始出現(xiàn)在公眾視野里，每每看到這些圖，一些人會抱著譏諷的心態(tài)會心一笑。在他們眼里，機器學(xué)習(xí)沒什么值得興奮的，它只是傳統(tǒng)統(tǒng)計技術(shù)的新包裝，內(nèi)容上換湯不換藥。這種想法正變得越來越普遍，但機器學(xué)習(xí)真的不是統(tǒng)計學(xué)！

雖然深度學(xué)習(xí)火了，這對機器學(xué)習(xí)來說卻不是什么好事。為了避免深度學(xué)習(xí)被誤認(rèn)為是import keras就能解決一切的技術(shù)，第一批推廣深度學(xué)習(xí)的機器學(xué)習(xí)研究人員一直在淡化現(xiàn)代神經(jīng)網(wǎng)絡(luò)的作用，而這種矯枉過正已經(jīng)開始對學(xué)界的發(fā)展和未來造成不良影響——人們開始把它看成空中花園，討論起寒冬即將來臨，人工智能研究將陷入停滯。

正如Yann LeCun所說的那樣，深度學(xué)習(xí)如今的影響已經(jīng)超過了一個普通流行詞的影響上限。

本文的目的不是討論AI是否將迎來嚴(yán)冬，也不是討論機器學(xué)習(xí)、統(tǒng)計學(xué)哪個更值得深入研究。相反地，由于計算機算力的大幅提高的大型優(yōu)質(zhì)數(shù)據(jù)集的出現(xiàn)，再加上深度學(xué)習(xí)的突破性成果，我們要證明，機器學(xué)習(xí)也是全球技術(shù)進步的一大重要前沿。

機器學(xué)習(xí) != 統(tǒng)計學(xué)

如果你想融資，寫AI；如果你想招聘，寫ML；如果你想實現(xiàn)，線性回歸。——數(shù)據(jù)科學(xué)、機器學(xué)習(xí)和人工智能到底有什么區(qū)別？

首先，機器學(xué)習(xí)不等于統(tǒng)計學(xué)。雖然把機器學(xué)習(xí)簡單等同于統(tǒng)計學(xué)是個徹頭徹尾的誤解，但大家產(chǎn)生這種想法確實也情有可原。機器學(xué)習(xí)中普遍存在大量統(tǒng)計學(xué)意義上的概念和術(shù)語，比如回歸、權(quán)重、偏差、模型等。機器學(xué)習(xí)模型也經(jīng)常需要用到統(tǒng)計函數(shù)，比如分類模型的softmax輸出是個logits，模型訓(xùn)練過程中需要用到logistic回歸。

從技術(shù)上看，這樣理解沒有問題，但僅憑這幾點，我們不能把機器學(xué)習(xí)當(dāng)成統(tǒng)計學(xué)的附屬物。事實上，這種比較是沒有意義的。統(tǒng)計是數(shù)據(jù)領(lǐng)域的東西，它涉及對數(shù)據(jù)的理解和解釋。而機器學(xué)習(xí)只不過是一類計算算法的集合（可用于分析和決策），它屬于計算機科學(xué)領(lǐng)域。在很多情況下，某些機器學(xué)習(xí)算法既不能分析數(shù)據(jù)，也不能構(gòu)建預(yù)測模型，比如強化學(xué)習(xí)算法不需要事先準(zhǔn)備好的數(shù)據(jù)集，圖像算法的數(shù)據(jù)也不是數(shù)學(xué)意義上的數(shù)據(jù)。

當(dāng)然，這不是說機器學(xué)習(xí)取得的成就都是計算機科學(xué)的，和統(tǒng)計學(xué)一點兒關(guān)系都沒有。和其他任何研究領(lǐng)域一樣，機器學(xué)習(xí)的成功是多領(lǐng)域知識綜合作用的結(jié)果，統(tǒng)計學(xué)和數(shù)學(xué)在其中尤為明顯。然而，為了正確評估機器學(xué)習(xí)方法的強大影響和潛力，首先我們必須要認(rèn)識到，人工智能的現(xiàn)代發(fā)展不等于計算機算力提高+數(shù)據(jù)集+統(tǒng)計學(xué)。

機器學(xué)習(xí)不需要高級統(tǒng)計知識

這里我們舉個例子。當(dāng)我開始學(xué)機器學(xué)習(xí)時，我選上了一門深度學(xué)習(xí)課。這是我本科必修課的一部分，當(dāng)時老師要求我們在TensorFlow中實現(xiàn)并訓(xùn)練Wasserstein GAN。

需要注意的是，我只上過這么一節(jié)和深度學(xué)習(xí)有關(guān)的必修課，而且課程知識都忘的差不多了。不用說，我的統(tǒng)計學(xué)也不咋地。但是，通過閱讀論文，我能理解GAN是什么，然后從頭開始實現(xiàn)它。在MS Celebs數(shù)據(jù)集上完成訓(xùn)練后，最后我們生成了非常逼真的虛假圖像。

同樣是在這門課上，我和同學(xué)還訓(xùn)練了可以分割癌細胞組織圖像的模型、機器翻譯模型、文本分類模型和圖像風(fēng)格遷移模型，它們用的都是近幾年最先進的技術(shù)。但是如果你問我們該怎么計算人口的方差、怎么計算邊際概率，大多數(shù)人會一臉懵逼。

看得出來，這和那些人眼里的機器學(xué)習(xí)不太一樣。

確實，在深度學(xué)習(xí)領(lǐng)域，專家比學(xué)生有著更深厚的統(tǒng)計學(xué)基礎(chǔ)。一般而言，信息理論需要對數(shù)據(jù)和概率有很強的理解，如果要我對想成為數(shù)據(jù)科學(xué)家、機器學(xué)習(xí)工程師的新人提建議，我也會讓他們好好學(xué)習(xí)統(tǒng)計學(xué)。但是盡管如此，幾乎沒有統(tǒng)計學(xué)背景的人確實可以深入理解尖端的ML概念，這直接證明ML不是統(tǒng)計學(xué)的附屬物。

還應(yīng)該承認(rèn)的一點是，撇開神經(jīng)網(wǎng)絡(luò)，一些機器學(xué)習(xí)算法確實要求學(xué)習(xí)者、使用者有更強的統(tǒng)計和概率背景，但即便這些方法通常被稱為統(tǒng)計機器學(xué)習(xí)、統(tǒng)計學(xué)習(xí)，它們比常規(guī)的統(tǒng)計學(xué)理論要淺顯得多。再說近幾年機器學(xué)習(xí)的進展幾乎都是神經(jīng)網(wǎng)絡(luò)，它們和統(tǒng)計的關(guān)系就更遠了。

如今所有領(lǐng)域都在呼吁跨學(xué)科研究，機器學(xué)習(xí)也不例外。換句話說，ML研究人員學(xué)習(xí)統(tǒng)計知識只不過是為了處理各種類型的數(shù)據(jù)，這里不存在上層下層關(guān)系。

機器學(xué)習(xí)=表征+評估+優(yōu)化

捫心自問，我們確實在算法、優(yōu)化算法、微積分、線性代數(shù)甚至概率論上有扎實基礎(chǔ)，但這些數(shù)學(xué)知識是我們處理問題的工具，它們和高級統(tǒng)計知識不搭邊。

機器學(xué)習(xí)是一類計算算法，它們通過迭代計算某個目標(biāo)函數(shù)的近似形式。華盛頓大學(xué)計算機科學(xué)教授Pedro Domingos曾指出機器學(xué)習(xí)算法由三個部分組成：表征、評估、優(yōu)化。

表征指的是把輸入從一個空間映射進另一個空間，從而使輸入更容易被理解。以卷積神經(jīng)網(wǎng)絡(luò)為例，無論輸入圖像是貓是狗，神經(jīng)網(wǎng)絡(luò)是無法根據(jù)這些原始像素直接分類的，因此我們要把像素轉(zhuǎn)換成網(wǎng)絡(luò)更容易解釋和評估的表征。

評估基本就是損失函數(shù)。你的算法會如何有效地把數(shù)據(jù)映射進更有用的空間？你的softmax輸出和one-hot編碼標(biāo)簽（分類）有多接近？你的模型是否正確預(yù)測了展開文本序列的下一個單詞？……這些內(nèi)容向你展示了模型的性能情況，更重要的是，他們也定義了模型將要學(xué)習(xí)的內(nèi)容。

優(yōu)化是算法的最后一塊內(nèi)容。當(dāng)你開始評估自己的模型時，你會希望模型的代表性功能能再強化一下，得分也再高一些，這時你就要用到優(yōu)化。在神經(jīng)網(wǎng)絡(luò)中，這同樣意味著用一些隨機梯度下降的變量根據(jù)損失函數(shù)優(yōu)化網(wǎng)絡(luò)的權(quán)重和偏差。

在訓(xùn)練圖像分類器時，除了定義適當(dāng)?shù)膿p失函數(shù)，我們不要求模型函數(shù)的輸出有邏輯。這意味著雖然我們用了像logistic回歸這樣的統(tǒng)計函數(shù)，而且它確實為定義模型空間提供了有效信息，但它沒有把優(yōu)化問題轉(zhuǎn)成數(shù)據(jù)理解問題。

深度學(xué)習(xí)技巧

為了把統(tǒng)計學(xué)更徹底地剝離出去，我們來看深度學(xué)習(xí)。深層神經(jīng)網(wǎng)絡(luò)內(nèi)部的工作機制幾乎是全新的一套體系，縱使完全連接節(jié)點由權(quán)重和偏差組成，那么卷積層呢？Rectifier activations呢？Batch normalization呢？Residual layers呢？Dropout呢？注意力機制呢？

這些創(chuàng)新對深層神經(jīng)網(wǎng)絡(luò)性能的提高至關(guān)重要，它們和傳統(tǒng)統(tǒng)計技術(shù)沒有可比性。如果不信，你可以指著自己VGG-16 ConvNet問統(tǒng)計學(xué)家：我的模型過擬合，怎么辦？看看他們是否覺得你可以隨意丟棄1億個參數(shù)里的5000萬個。

更不用說，深度學(xué)習(xí)根本不在意模型的可解釋性。

新的前沿

在過去幾年里，你可能已經(jīng)在論文、新聞、社交網(wǎng)絡(luò)上看過機器學(xué)習(xí)的無數(shù)炫酷應(yīng)用，這里我們不再具體介紹。我要告訴你的是，無論是機器學(xué)習(xí)還是深度學(xué)習(xí)，現(xiàn)在它們能做的事更多。

在2012年以前，對非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的解構(gòu)還只是挑戰(zhàn)。那之后，學(xué)界出現(xiàn)訓(xùn)練完備的CNN和LSTM，實現(xiàn)了人類歷史上的巨大跨越。而現(xiàn)在，計算機視覺、自然語言處理、語音轉(zhuǎn)錄等領(lǐng)域已經(jīng)取得了相當(dāng)大的進步，人臉識別、智能助理、無人車等相關(guān)產(chǎn)品也已經(jīng)落地應(yīng)用，這是前人不敢想象的。

確實，大多數(shù)機器學(xué)習(xí)算法最終都涉及擬合數(shù)據(jù)，但它相對過去是一種進步。航天飛機也不過是一個帶翅膀的飛行器，不是嗎？但我們并沒有看到有人用漫畫嘲諷NASA進行太空探索，也沒有嘲諷航天飛機是飛機的過度包裝產(chǎn)品。

和太空探索一樣，深度學(xué)習(xí)的出現(xiàn)并沒有解決世界上所有的問題，它在很多地方還面臨重大挑戰(zhàn)，尤其是“人工智能”領(lǐng)域。盡管如此，它為我們解決復(fù)雜非結(jié)構(gòu)化數(shù)據(jù)問題做出了重大貢獻。未來，機器學(xué)習(xí)將繼續(xù)代表全球技術(shù)進步和創(chuàng)新的前沿。