神經(jīng)網(wǎng)絡(luò)是什么？

神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域目前最熱門的一種機器學(xué)習(xí)方法，是目前最為火熱的研究方向之一——深度學(xué)習(xí)的基礎(chǔ)。

神經(jīng)網(wǎng)絡(luò)這個概念聽起來無比深奧，很多非技術(shù)人士大都不明白它到底是個啥。讓我們繼續(xù)往下看試試是否可以“窺一斑而知全豹”。

給你一系列圖，猜一下圖中動物是什么？或者是由哪種動物組合成的？

也許答案你不到一秒就可以脫口而出，憑借人類大腦強大的辨識能力，盡管圖中的動物經(jīng)過變形處理或者視覺誤差，我們還是能快速猜出這是什么動物。這就歸功于我們大腦的1000多億個神經(jīng)元組成的復(fù)雜網(wǎng)絡(luò)，即使動物們并非我們熟知的模樣，我們依然可以輕松識別出。

神經(jīng)網(wǎng)絡(luò)技術(shù)正是受到人類神經(jīng)元的啟發(fā)，通過模擬人腦神經(jīng)網(wǎng)絡(luò)以實現(xiàn)類人工智能的功能。

人腦中的神經(jīng)元大家初中時就很熟悉了：

而人工智能神經(jīng)網(wǎng)絡(luò)正是模擬人類大腦：

要進一步理解神經(jīng)網(wǎng)絡(luò)，我們必須要厘清以下概念：

人工智能：人工智能是一個非常大的概念，其最初定義是要讓機器的行為看起來就像是人所表現(xiàn)出的智能行為一樣。我們經(jīng)常聽到的語音識別、圖像識別、自然語言理解等領(lǐng)域都是具體的人工智能方向，而機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等概念都屬于實現(xiàn)人工智能所需要的一些技術(shù)。

機器學(xué)習(xí)：機器學(xué)習(xí)是人工智能的一門分支，指通過學(xué)習(xí)過往經(jīng)驗來提升機器的智能性的一類方法。根據(jù)樣本和訓(xùn)練的方式，又可以分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)等類型。

神經(jīng)網(wǎng)絡(luò)：在人工智能領(lǐng)域一般指人工神經(jīng)網(wǎng)絡(luò)，是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理人工智能模型。我們通常使用的神經(jīng)網(wǎng)絡(luò)都需要通過訓(xùn)練數(shù)據(jù)進行參數(shù)的學(xué)習(xí)，所以神經(jīng)網(wǎng)絡(luò)也可以被歸為一種機器學(xué)習(xí)方法。

深度學(xué)習(xí)：作為人工智能領(lǐng)域的新興方向，深度學(xué)習(xí)目前還沒有嚴格的定義，一般我們把一些具備較多中間隱含層的神經(jīng)網(wǎng)絡(luò)稱為深度學(xué)習(xí)模型。

至暗時刻

2019年，ACM決定將2018年ACM圖靈獎授予YoshuaBengio、Geoffrey Hinton和YannLeCun三位深度學(xué)習(xí)之父，以表彰他們給人工智能帶來的重大突破，這些突破使深度神經(jīng)網(wǎng)絡(luò)成為計算的關(guān)鍵組成部分。ACM主席 Cherri M. Pancake 表示，“人工智能如今是整個科學(xué)界發(fā)展最快的領(lǐng)域之一，也是社會上討論最廣的主題之一。

AI的發(fā)展、人們對AI的興趣，很大程度上是因為深度神經(jīng)網(wǎng)絡(luò)的近期進展，而Bengio、Hinton和LeCun為此奠定了重要基礎(chǔ)”。

神經(jīng)網(wǎng)絡(luò)的發(fā)展過程遇到了哪些波折？“深度學(xué)習(xí)三巨頭”有哪些有趣的故事？而這些年熱門的深度學(xué)習(xí)又和神經(jīng)網(wǎng)絡(luò)有什么樣的關(guān)系？

今天院長為大家一一道來。

大家知道，我們現(xiàn)在所說的人工神經(jīng)網(wǎng)絡(luò)確實是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計出來的。在1890年，實驗心理學(xué)先驅(qū)William James在他的巨著《心理學(xué)原理》中第一次詳細論述人腦結(jié)構(gòu)及功能。其中提到神經(jīng)細胞受到刺激激活后可以把刺激傳播到另一個神經(jīng)細胞，并且神經(jīng)細胞激活是細胞所有輸入疊加的結(jié)果。這一后來得到驗證的假說也成為了人工神經(jīng)網(wǎng)絡(luò)設(shè)計的生物學(xué)基礎(chǔ)。

基于這一假說，一系列模擬人腦神經(jīng)計算的模型被相繼提出，具有代表性的有Hebbian Learning Rule， Oja‘s Rule和 MCP NeuralModel等，他們與現(xiàn)在通用的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)非常相似，例如在Hebbian Learning模型中，已經(jīng)可以支持神經(jīng)元之間權(quán)重的自動學(xué)習(xí)。當(dāng)然，現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)只是對人腦結(jié)構(gòu)的最初級模擬，成人的大腦中估計有1000億個神經(jīng)元之多，其復(fù)雜性遠超目前的所有人工神經(jīng)網(wǎng)絡(luò)模型。

1958年，就職于Cornell航空實驗室的 Frank Rosenblatt 將這些最初的神經(jīng)網(wǎng)絡(luò)模型假說付諸于實施，利用電子設(shè)備構(gòu)建了真正意義上的第一個神經(jīng)網(wǎng)絡(luò)模型：感知機（Perceptron）。Rosenblatt現(xiàn)場演示了其學(xué)習(xí)識別簡單圖像的過程，在當(dāng)時的社會引起了轟動，并帶來了神經(jīng)網(wǎng)絡(luò)的第一次大繁榮。許多學(xué)者和科研機構(gòu)紛紛投入到神經(jīng)網(wǎng)絡(luò)的研究中，連美國軍方大力資助了神經(jīng)網(wǎng)絡(luò)的研究，并認為神經(jīng)網(wǎng)絡(luò)比“原子彈工程”更重要。

△Frank Rosenblatt

然而好景不長，上回曾經(jīng)提到的達特茅斯會議的組織者明斯基，同時也是 Rosenblatt 的同事兼中學(xué)同學(xué)，在一次會議上和羅森布拉特大吵，認為神經(jīng)網(wǎng)絡(luò)不能解決人工智能的問題。

隨后，明斯基和麻省理工學(xué)院的另一位教授佩珀特（Seymour Papert）合作，寫出了《感知機：計算幾何學(xué)》（Perceptrons:An Introduction to Computational Geometry）一書。該書幾乎對處于萌芽中神經(jīng)網(wǎng)絡(luò)判處了死刑，書中明斯基和佩珀特證明單層神經(jīng)網(wǎng)絡(luò)不能解決XOR（異或）問題，說明神經(jīng)網(wǎng)絡(luò)的計算能力實在有限。但“感知機”的缺陷被明斯基以一種敵意的方式呈現(xiàn)出來，當(dāng)時對Rosenblatt是個致命打擊，不久后他因為一次沉船事故離開了人世。原來的政府資助機構(gòu)也逐漸停止對神經(jīng)網(wǎng)絡(luò)研究的支持，神經(jīng)網(wǎng)絡(luò)為代表聯(lián)結(jié)主義也隨之進入了第一個至暗時刻。

整個70年代，神經(jīng)網(wǎng)絡(luò)的研究都處在寒冬之中。1974年，哈佛大學(xué)的博士生波斯（Paul Werbos）一篇博士論文證明了在神經(jīng)網(wǎng)絡(luò)多加一層，并且利用“反向傳播”（back-propagation）學(xué)習(xí)方法，可以解決XOR問題。之前明斯基所剛提出的神經(jīng)網(wǎng)絡(luò)致命傷就被這增加的一層神經(jīng)網(wǎng)絡(luò)所輕松化解，這也為之后深度學(xué)習(xí)方法的提出埋下了伏筆。但這篇論文發(fā)表時正處在神經(jīng)網(wǎng)絡(luò)研究的低谷，并沒有引起足夠的關(guān)注。

直到八十年代中期，以John Hopfield， David Rumelhar及Hinton為代表的一批科學(xué)家進一步將反向傳播傳播方法引入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，并提出了Hopfiled Networks和Boltzmann Machine等新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主導(dǎo)了神經(jīng)網(wǎng)絡(luò)的又一次復(fù)興。我們?nèi)缃穸炷茉數(shù)倪f歸神經(jīng)網(wǎng)絡(luò)（RNN）、長短期記憶網(wǎng)絡(luò)（LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）都在這一時期被相繼提出。然而，當(dāng)科學(xué)家們在實際訓(xùn)練這些模型時，卻又遇到各種各樣的問題，一方面當(dāng)時的神經(jīng)網(wǎng)絡(luò)很容易過擬合，另一方面又缺乏足夠的數(shù)據(jù)和計算能力。

深度學(xué)習(xí)三巨頭

到90年代，以支持向量機（SVM）為代表的統(tǒng)計機器學(xué)習(xí)方法逐漸取代神經(jīng)網(wǎng)絡(luò)成為了人工智能的主流。相比于神經(jīng)網(wǎng)絡(luò)方法，支持向量機有著更扎實的統(tǒng)計理論基礎(chǔ)，有著更好問題優(yōu)化與求解方法。神經(jīng)網(wǎng)絡(luò)再一次陷入低谷，大量之前從事相關(guān)研究者開始轉(zhuǎn)向其他方向。不過還是有很多科學(xué)家一直在默默堅守，堅信神經(jīng)網(wǎng)絡(luò)技術(shù)終有一天能夠再次爆發(fā)，其中最為代表性的就是前面提到的深度學(xué)習(xí)三位創(chuàng)始人——Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun。

△深度學(xué)習(xí)三巨頭

進入新世紀以來，互聯(lián)網(wǎng)的飛速發(fā)展對AI提出了更多需求，一方面可供訓(xùn)練的數(shù)據(jù)量大大增加，另一方面問題場景越來越復(fù)雜，需要有通用和模塊化的方法來快速適應(yīng)不同的問題，而神經(jīng)網(wǎng)絡(luò)在這方面相比于當(dāng)時流行的統(tǒng)計學(xué)習(xí)方法都更有優(yōu)勢。

2006年，Hinton在Nature發(fā)表了“Reducing the Dimensionality of Data with Neural Networks”一文，提出訓(xùn)練更多層的神經(jīng)網(wǎng)絡(luò)來提升神經(jīng)網(wǎng)絡(luò)的泛化能力，并給出了具體的解決方案，吹響了神經(jīng)網(wǎng)絡(luò)第二次復(fù)興的號角，并引領(lǐng)了深度學(xué)習(xí)這一AI的新方向。后續(xù)深度學(xué)習(xí)的發(fā)展并沒有完全按照Hinton這邊論文的思路，更多的是依靠算力的增加、數(shù)據(jù)的增加以及在模型訓(xùn)練里增加的各種技巧。

2010年Hinton和Deng Li把DNN用于聲學(xué)模型建模，用于替代傳統(tǒng)的隱馬爾科夫模型，語音識別的詞錯誤率相對降低了30%，震驚了整個AI界。2012年由Hinton和他的學(xué)生提出的AlexNet在圖像領(lǐng)域著名的ImageNet比賽中，將圖像分類錯誤率由25.8%下降至10%，再次讓所有人驚嘆于深度學(xué)習(xí)的威力。在之后的幾年中，深度學(xué)習(xí)又被應(yīng)用到自然語言處理、語音圖像合成、自動駕駛、搜索推薦等幾乎人工智能的所有領(lǐng)域，并刷新了幾乎所有AI競賽的最好成績。在深度學(xué)習(xí)帶動下，AI在這幾年中再一次贏來爆發(fā)。

那么深度學(xué)習(xí)方法和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)又有什么樣的關(guān)系呢？

院長在這里在做個技術(shù)總結(jié)。最早期的神經(jīng)網(wǎng)絡(luò)“感知機”只有單層網(wǎng)絡(luò)結(jié)構(gòu)，被證明無法解決“異或問題”，存在先天的硬傷。后來證明增加神經(jīng)網(wǎng)絡(luò)層數(shù)并引入反向傳播算法之后解決這一問題，這樣神經(jīng)網(wǎng)絡(luò)的這一短板就被補齊了。然而，神經(jīng)網(wǎng)絡(luò)問題從數(shù)學(xué)上不能保證取得全局最優(yōu)解（又一硬傷），當(dāng)訓(xùn)練數(shù)據(jù)量小的時候容易過擬合，且存在其他一些模型訓(xùn)練的問題，導(dǎo)致再次沉淪。之后Hinton提出采用更多層的神經(jīng)網(wǎng)絡(luò)加預(yù)訓(xùn)練方法可以解決上述問題，這也就是深度學(xué)習(xí)的起源。再后來大家發(fā)現(xiàn)隨著數(shù)據(jù)量和計算能力的提升，即使不采取預(yù)訓(xùn)練方法，單純增加神經(jīng)網(wǎng)絡(luò)層數(shù)，也可以達到同樣效果。隨后更多的深度神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練方法被陸續(xù)提出，深度學(xué)習(xí)開始走向快車道。

最后在總結(jié)一下深度學(xué)習(xí)三位創(chuàng)始人對領(lǐng)域的貢獻。Hinton的身世顯赫，是著名邏輯學(xué)家布爾（布爾代數(shù)創(chuàng)始人）的后裔，從出身就帶著與計算機的不解緣分。他像是深度學(xué)習(xí)領(lǐng)域的哲學(xué)家，不斷地思考與反思，為大家指引前行的方向。在最近的一次人工智能會議上，Hinton表示自己對于反向傳播“非常懷疑”，并提出“應(yīng)該拋棄它并重新開始”。Bengio為深度學(xué)習(xí)的發(fā)展和推廣做出了很多基礎(chǔ)的貢獻，除了大量重要論文外，他還主導(dǎo)研發(fā)了Theano深度學(xué)習(xí)框架，一度成為非常主流的深度學(xué)習(xí)工具，并帶動了后續(xù)tensorflow與pytorch等平臺的出現(xiàn)。Lecun是Hinton的博士后學(xué)生，也是神經(jīng)網(wǎng)絡(luò)的堅定信仰者，早在80年代他就在貝爾實驗室提出了如今大名鼎鼎的卷積神經(jīng)網(wǎng)絡(luò)，當(dāng)時還叫LeNet，并被廣泛應(yīng)用于支票的數(shù)字識別。2013年Lecun加盟Facebook組建FAIR并任職第一任主任，致力于深度學(xué)習(xí)學(xué)術(shù)界與工業(yè)界的結(jié)合。

深度學(xué)習(xí)在企業(yè)場景的應(yīng)用

近年來，以Resnet和Bert為代表的深度學(xué)習(xí)算法在計算機視覺和自然語言處理領(lǐng)域繼續(xù)披荊斬棘，不斷創(chuàng)造各項記錄。除了模型的創(chuàng)新，這些模型更得益于更大規(guī)模的訓(xùn)練樣本及更強的算力的支持，很多人也在質(zhì)疑深度學(xué)習(xí)這樣的發(fā)展模式還能持續(xù)多久。相比于神經(jīng)網(wǎng)絡(luò)，人類在面對新問題時擁有者更好的學(xué)習(xí)效率和效果，這樣說明當(dāng)前神經(jīng)網(wǎng)絡(luò)的實現(xiàn)機制和真正人腦的神經(jīng)學(xué)習(xí)機制還存在著很大的差異。如何更好探索好的網(wǎng)絡(luò)先驗結(jié)構(gòu)與參數(shù)，以及引入先驗知識或者通過遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)的方式進行小樣本的學(xué)習(xí)已經(jīng)成為了近期新的研究熱點。特別是在企業(yè)服務(wù)場景，相對to C場景樣本量更少，業(yè)務(wù)性更強，如何將深度學(xué)習(xí)方法與這些場景相結(jié)合也成為一個重要課題。

深度學(xué)習(xí)方法在e成科技的對話機器人、人崗匹配、音視頻面試等場景起到了非常重要的作用，院長在前幾期反復(fù)提到的Bert就是其中的重要代表。但作為一家to B企業(yè)，e成科技的很多算法都有自身的特殊場景，同時也面臨著數(shù)據(jù)相對不足的問題。為了能使深度學(xué)習(xí)方法最大限度地發(fā)揮威力，e成科技的算法工程師們也進行了非常多的嘗試與探索。e成科技AI開放平臺可以根據(jù)企業(yè)業(yè)務(wù)需求，調(diào)用OpenAPI接口或私有云部署，提供NLP能力、實體識別、歸一化知識圖譜、人崗匹配、簡歷解析、HR機器人等成熟AI技術(shù)基礎(chǔ)能力，AI產(chǎn)品組件，定制化解決方案等多種智能服務(wù)。