人工神經(jīng)網(wǎng)絡(luò)(ANN)和大腦有著許多相似的地方，那么ANN到底從動(dòng)物大腦中學(xué)到了什么呢？Nature Communications近期發(fā)布了一篇文章便對(duì)此問(wèn)題進(jìn)行了討論。研究人員認(rèn)為，機(jī)器與生物的工作原理不同導(dǎo)致二者不可能做到高度相似。

人工神經(jīng)網(wǎng)絡(luò)能夠從動(dòng)物大腦中學(xué)到什么？ 盡管近年來(lái)人工智能取得了許多進(jìn)步，但人工神經(jīng)網(wǎng)絡(luò)仍遠(yuǎn)未接近人類(lèi)的智能。ANN可以在國(guó)際象棋和圍棋等游戲中打敗人類(lèi)對(duì)手，但在大多數(shù)維度上——語(yǔ)言、推理和常識(shí)——它們甚至沒(méi)有達(dá)到四歲兒童的認(rèn)知能力。 也許更令人吃驚的是，ANN離簡(jiǎn)單動(dòng)物的能力也還差得很遠(yuǎn)。許多最基本的行為——即使對(duì)簡(jiǎn)單動(dòng)物而言似乎毫不費(fèi)力的行為——最終被證明非常具有挑戰(zhàn)性，是AI無(wú)法企及的。 我們無(wú)法建造出一臺(tái)能筑巢、追蹤獵物的機(jī)器。在很多方面，AI遠(yuǎn)未達(dá)到狗、老鼠、甚至蜘蛛的智力水平，而且看起來(lái)，僅靠擴(kuò)大當(dāng)前方法的規(guī)模也無(wú)法實(shí)現(xiàn)這些目標(biāo)。 好消息是，如果AI真的能達(dá)到老鼠的智能水平，那么離人類(lèi)的智能可能就只差一小步了。 近期，Nature Communications 便發(fā)表一篇論文，探討了人工神經(jīng)網(wǎng)絡(luò)能夠從動(dòng)物大腦中學(xué)到些什么。

論文地址： https://www.nature.com/articles/s41467-019-11786-6 顧名思義，人工神經(jīng)網(wǎng)絡(luò)的發(fā)明是為了構(gòu)建基于神經(jīng)系統(tǒng)所使用的計(jì)算原理的人工系統(tǒng)。在接下來(lái)的內(nèi)容中，我們從神經(jīng)科學(xué)中發(fā)現(xiàn)了一些額外的原理，這些原理可能會(huì)加速實(shí)現(xiàn)老鼠水平的智能、甚至人類(lèi)水平智能的目標(biāo)。 研究人員認(rèn)為，與人工神經(jīng)網(wǎng)絡(luò)不同的是，動(dòng)物在很大程度上依賴(lài)于學(xué)習(xí)和先天機(jī)制的結(jié)合。這些先天過(guò)程通過(guò)進(jìn)化產(chǎn)生，被編碼在基因組中，并以連接大腦的規(guī)則的形式出現(xiàn)。研究人員討論了這些觀察結(jié)果對(duì)產(chǎn)生下一代機(jī)器算法的影響。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 從人工智能的早期開(kāi)始，就有兩種相互競(jìng)爭(zhēng)的方法：符號(hào)AI和人工神經(jīng)網(wǎng)絡(luò)。符號(hào)AI又稱(chēng)“有效的老式人工智能”(good old fashion AI)。 現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)與它30年前的祖先非常相似。大部分進(jìn)步可以歸因于原始計(jì)算機(jī)能力的提高：僅僅因?yàn)槟柖桑裉斓挠?jì)算機(jī)比上一代計(jì)算機(jī)快了幾個(gè)數(shù)量級(jí)，GPU在人工神經(jīng)網(wǎng)絡(luò)上的應(yīng)用更是加快了它們的速度。大數(shù)據(jù)集的可用性是第二個(gè)因素：在谷歌時(shí)代之前，收集用于訓(xùn)練的大量標(biāo)記圖像集是非常具有挑戰(zhàn)性的。最后，現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)比它們的前輩更有用的第三個(gè)原因是，它們需要更少的人為干預(yù)。現(xiàn)代的神經(jīng)網(wǎng)絡(luò)，特別是“深層網(wǎng)絡(luò)”，從數(shù)據(jù)中學(xué)習(xí)適當(dāng)?shù)牡讓颖硎?如視覺(jué)特征)，而不是依賴(lài)手工連接來(lái)顯式地編程。 在人工神經(jīng)網(wǎng)絡(luò)研究中，“學(xué)習(xí)”(learning)一詞的用法與其在神經(jīng)科學(xué)和心理學(xué)中的用法不同。在神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)是從輸入數(shù)據(jù)中提取結(jié)構(gòu)，并將結(jié)構(gòu)編碼到網(wǎng)絡(luò)參數(shù)中的過(guò)程。這些網(wǎng)絡(luò)參數(shù)包含指定網(wǎng)絡(luò)所需的所有信息。 從數(shù)據(jù)中提取結(jié)構(gòu)并將其編碼為網(wǎng)絡(luò)參數(shù)(即權(quán)重和閾值)有三種經(jīng)典范式。

在監(jiān)督學(xué)習(xí)中，數(shù)據(jù)成對(duì)組成——一個(gè)輸入項(xiàng)(如圖像)和它的標(biāo)簽(如單詞“giraffe”)——目標(biāo)是找到為新的pair生成正確標(biāo)簽的網(wǎng)絡(luò)參數(shù)。

在無(wú)監(jiān)督學(xué)習(xí)中，數(shù)據(jù)沒(méi)有標(biāo)簽；目標(biāo)是在沒(méi)有明確指導(dǎo)的情況下發(fā)現(xiàn)數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律。例如，我們可以想象，有了足夠多的長(zhǎng)頸鹿和大象的樣本，我們可能最終推斷出這兩類(lèi)動(dòng)物的存在，而不需要明確地給它們貼上標(biāo)簽。

最后，在強(qiáng)化學(xué)習(xí)中，數(shù)據(jù)被用來(lái)驅(qū)動(dòng)行為，這些行為的成功與否是基于一個(gè)“獎(jiǎng)勵(lì)”信號(hào)來(lái)評(píng)估的。

人工神經(jīng)網(wǎng)絡(luò)的許多進(jìn)步都是為監(jiān)督學(xué)習(xí)開(kāi)發(fā)更好的工具。監(jiān)督學(xué)習(xí)的一個(gè)核心考慮是“泛化”(generalization)。隨著參數(shù)數(shù)量的增加，網(wǎng)絡(luò)的“表示能力”也隨之增加，即網(wǎng)絡(luò)能夠處理的輸入-輸出映射的復(fù)雜性在增加。一個(gè)具有足夠自由參數(shù)的網(wǎng)絡(luò)可以適應(yīng)任何函數(shù)，但是訓(xùn)練一個(gè)網(wǎng)絡(luò)而不過(guò)度擬合所需的數(shù)據(jù)量通常也會(huì)隨著參數(shù)的數(shù)量而變化。 如果一個(gè)網(wǎng)絡(luò)有太多的自由參數(shù)，那么網(wǎng)絡(luò)就有“過(guò)擬合”數(shù)據(jù)的風(fēng)險(xiǎn)，也就是說(shuō)，它會(huì)在一組帶標(biāo)簽的訓(xùn)練樣本上生成正確的響應(yīng)，但不能推廣到新的樣本上。在ANN的研究中，網(wǎng)絡(luò)的靈活性（與神經(jīng)元和連接的數(shù)量成比例）與訓(xùn)練網(wǎng)絡(luò)所需的數(shù)據(jù)量（更多神經(jīng)元和連接通常需要更多數(shù)據(jù)）之間的這種張力稱(chēng)為“偏差 - 方差權(quán)衡”(bias-variance tradeoff)，如圖1所示。 具有更大靈活性的網(wǎng)絡(luò)更強(qiáng)大，但是，如果沒(méi)有足夠的訓(xùn)練數(shù)據(jù)，網(wǎng)絡(luò)對(duì)新的測(cè)試實(shí)例所做的預(yù)測(cè)可能是非常不正確的——比一個(gè)更簡(jiǎn)單、功能更弱的網(wǎng)絡(luò)的預(yù)測(cè)要糟糕得多。套用“蜘蛛俠”的話來(lái)解釋?zhuān)耗芰υ酱螅?zé)任越大(獲得足夠的有標(biāo)記訓(xùn)練數(shù)據(jù))。偏方差權(quán)衡解釋了為什么大型網(wǎng)絡(luò)需要大量有標(biāo)記的訓(xùn)練數(shù)據(jù)。

圖1：機(jī)器學(xué)習(xí)中的“偏差-方差權(quán)衡”可以看作是奧卡姆剃刀的形式化。 動(dòng)物的學(xué)習(xí) “學(xué)習(xí)”一詞在神經(jīng)科學(xué)(和心理學(xué))中指的是由經(jīng)驗(yàn)導(dǎo)致的長(zhǎng)期行為變化。在這一背景下的學(xué)習(xí)包括動(dòng)物范例，如經(jīng)典性條件反射和操作性條件反射，以及一系列其他范例，如觀察學(xué)習(xí)或指導(dǎo)學(xué)習(xí)。雖然神經(jīng)科學(xué)和人工神經(jīng)網(wǎng)絡(luò)在“學(xué)習(xí)”這個(gè)詞的使用上有一些重疊，但在某些情況下，這些術(shù)語(yǔ)的差異足以導(dǎo)致混淆。 也許在使用上最大的分歧是“監(jiān)督學(xué)習(xí)”一詞的應(yīng)用。監(jiān)督學(xué)習(xí)是近年來(lái)人工神經(jīng)網(wǎng)絡(luò)在解決現(xiàn)實(shí)問(wèn)題方面取得成功的關(guān)鍵。例如，監(jiān)督學(xué)習(xí)作為一種范例，使得神經(jīng)網(wǎng)絡(luò)能對(duì)圖像進(jìn)行精確分類(lèi)。然而，為了確保泛化，訓(xùn)練這種網(wǎng)絡(luò)需要大量的數(shù)據(jù)集；一個(gè)視覺(jué)查詢(xún)系統(tǒng)需要訓(xùn)練10?個(gè)“標(biāo)記”示例(問(wèn)答對(duì))。 盡管這種訓(xùn)練的最終結(jié)果是一個(gè)人工神經(jīng)網(wǎng)絡(luò)，它至少在表面上模仿了人類(lèi)對(duì)圖像分類(lèi)的能力，但人工系統(tǒng)學(xué)習(xí)的過(guò)程與新生兒學(xué)習(xí)的過(guò)程幾乎沒(méi)有相似之處。然而，一年也只有10?秒，所以一個(gè)孩子一生中每秒鐘都要問(wèn)一個(gè)問(wèn)題，才能收集到相當(dāng)數(shù)量的標(biāo)記數(shù)據(jù)；當(dāng)然，孩子們遇到的大多數(shù)圖片都沒(méi)有標(biāo)簽。 因此，可用的標(biāo)記數(shù)據(jù)池與兒童學(xué)習(xí)的速度之間存在不匹配。顯然，孩子們并不主要依靠監(jiān)督算法來(lái)學(xué)習(xí)對(duì)物體進(jìn)行分類(lèi)。 諸如此類(lèi)的考慮促使機(jī)器學(xué)習(xí)社區(qū)尋找更強(qiáng)大的學(xué)習(xí)算法，尋找假定能讓孩子們?cè)趲啄陜?nèi)學(xué)會(huì)如何駕馭世界的“秘密武器”。ANN社區(qū)中的許多人假設(shè)，我們主要依賴(lài)于非監(jiān)督范式來(lái)構(gòu)建世界的表示，而不是監(jiān)督范式。 由于無(wú)監(jiān)督算法不需要標(biāo)記數(shù)據(jù)，因此它們可能會(huì)利用我們接收到的大量原始(未標(biāo)記)感官數(shù)據(jù)。實(shí)際上，有幾種無(wú)監(jiān)督算法生成的表示讓人聯(lián)想到在視覺(jué)系統(tǒng)中存在的表示。 盡管目前這些無(wú)監(jiān)督算法不能像監(jiān)督算法那樣有效地產(chǎn)生視覺(jué)表示，但沒(méi)有已知的理論原則或約束可以排除這種算法的存在。每個(gè)學(xué)習(xí)模型都必須包含對(duì)它可以學(xué)習(xí)的函數(shù)類(lèi)的隱式或顯式限制。 因此，盡管孩子在出生后10?秒內(nèi)所接觸到的帶標(biāo)簽的圖像數(shù)量可能很少，但在這段時(shí)間內(nèi)所接收到的全部感官輸入?yún)s是相當(dāng)大的；也許大自然已經(jīng)進(jìn)化出一種強(qiáng)大的無(wú)監(jiān)督算法來(lái)利用這個(gè)巨大的數(shù)據(jù)池。發(fā)現(xiàn)這樣一個(gè)無(wú)監(jiān)督算法——如果它存在的話——將為下一代神經(jīng)網(wǎng)絡(luò)奠定基礎(chǔ)。

動(dòng)物的學(xué)習(xí)和天生行為

因此，一個(gè)核心問(wèn)題是，沒(méi)有大量監(jiān)督訓(xùn)練數(shù)據(jù)集的情況下，動(dòng)物如何在出生后如此迅速地運(yùn)作。可以想象，無(wú)監(jiān)督學(xué)習(xí)，利用比任何已發(fā)現(xiàn)的算法更強(qiáng)大的算法，可能在建立感官表征和driving behavior方面發(fā)揮作用。但即使是這樣一種假設(shè)的無(wú)監(jiān)督學(xué)習(xí)算法也不可能是全部。實(shí)際上，這種假設(shè)算法所面臨的挑戰(zhàn)甚至比它看起來(lái)還要大。 人類(lèi)是一個(gè)outlier：我們花在學(xué)習(xí)上的時(shí)間可能比其他任何動(dòng)物都多，因?yàn)槲覀冇幸粋€(gè)長(zhǎng)期的不成熟期。許多動(dòng)物在106、105、甚至出生后的幾秒都能有效地發(fā)揮作用：松鼠出生后幾個(gè)月內(nèi)就可以從一棵樹(shù)跳到另一棵樹(shù)上，小馬出生后幾個(gè)小時(shí)內(nèi)就可以行走，而蜘蛛出生后就可以捕獵了。這些例子表明，即使是最聰明的無(wú)監(jiān)督算法，挑戰(zhàn)也可能超過(guò)其能力。 因此，如果單憑無(wú)監(jiān)督機(jī)制無(wú)法解釋動(dòng)物在出生時(shí)（或出生后不久）是如何如此有效地發(fā)揮作用的，那么還有什么選擇呢？答案是，我們的許多感官表達(dá)和行為基本上是天生的。例如，許多嗅覺(jué)刺激天生具有吸引力或食欲（鯊魚(yú)對(duì)血液）或厭惡（狐貍尿?qū)鲜螅? 對(duì)視覺(jué)刺激的反應(yīng)也可以是天生的例如，小鼠對(duì)即將到來(lái)的刺激作出防御性反應(yīng)，這可能允許快速檢測(cè)和避免空中捕食者。但先天機(jī)制的作用不僅僅是簡(jiǎn)單地建立對(duì)感官表征的反應(yīng)。事實(shí)上，昆蟲(chóng)和其他短命動(dòng)物的大部分行為都是天生的。在脊椎動(dòng)物中也有許多復(fù)雜先天行為的例子，例如在求愛(ài)儀式中。 在哺乳動(dòng)物中復(fù)雜的先天行為的一個(gè)突出例子是挖洞：在隧道的長(zhǎng)度和復(fù)雜性方面，密切相關(guān)的deer mice物種在洞穴中的差異很大。這些先天的傾向與養(yǎng)育無(wú)關(guān)：由其他物種的養(yǎng)育的一只小鼠可以像他們的親生父母那樣挖洞。因此，似乎動(dòng)物行為技能的一個(gè)主要組成部分并不是由聰明的學(xué)習(xí)算法監(jiān)督或不監(jiān)督的結(jié)果，而是已經(jīng)存在于出生時(shí)的行為程序。 從進(jìn)化的角度來(lái)看，很明顯為什么天生的行為是有利的。動(dòng)物的生存需要它解決所謂的“四個(gè)F” - feeding（進(jìn)食）、fighting（戰(zhàn)斗）、fleeing（逃跑）和交配。考慮一個(gè)物種X在出生時(shí)達(dá)到98％的成熟度，其競(jìng)爭(zhēng)對(duì)手Y在出生時(shí)僅達(dá)到50％，需要一個(gè)月的學(xué)習(xí)才能達(dá)到成熟的表現(xiàn)。（這里的表現(xiàn)被視為一定程度的適應(yīng)度，即個(gè)體生存和傳播的能力）。所有其他方面都是相同的，例如，假設(shè)兩個(gè)物種的成熟表現(xiàn)水平相同），物種X將超過(guò)物種Y（圖2A）。

圖2：先天策略和學(xué)習(xí)策略之間的進(jìn)化權(quán)衡 然而，一般來(lái)說(shuō)，所有其他事物都不可能是平等的。通過(guò)純先天機(jī)制實(shí)現(xiàn)的成熟表現(xiàn)可能與通過(guò)額外學(xué)習(xí)實(shí)現(xiàn)的表現(xiàn)不同（圖2A）。如果一個(gè)環(huán)境正在迅速變化，例如，在單個(gè)個(gè)體的時(shí)間尺度上，先天的行為策略可能無(wú)法提供一條途徑，使其達(dá)到與部分依賴(lài)學(xué)習(xí)的混合策略相同的成熟水平。

結(jié)論

大腦為人工智能提供洞察力的觀念并不新穎；實(shí)際上，它是ANN研究的基礎(chǔ)。ANN代表了一種試圖捕捉神經(jīng)系統(tǒng)某些關(guān)鍵方面的嘗試：許多簡(jiǎn)單的單元，通過(guò)突觸連接，并行運(yùn)行。隨后的一些進(jìn)展也來(lái)自神經(jīng)科學(xué)。例如，最近成功的強(qiáng)化學(xué)習(xí)算法，如AlphaGo Zero，從動(dòng)物學(xué)習(xí)研究中汲取靈感。同樣，CNN的靈感來(lái)自視覺(jué)皮層的結(jié)構(gòu)。 但人工智能的進(jìn)一步發(fā)展是否會(huì)從動(dòng)物大腦的研究中受益仍有爭(zhēng)議。也許我們已經(jīng)從動(dòng)物的大腦中學(xué)到了我們所需要的一切。正如飛機(jī)與鳥(niǎo)類(lèi)的區(qū)別一樣，人們可以想象，智能機(jī)器的工作原理與生物有機(jī)體的工作原理完全不同。我們認(rèn)為這是不可能的，因?yàn)槲覀儗?duì)智能機(jī)器的需求，有時(shí)被錯(cuò)誤地稱(chēng)為“通用人工智能”，根本不是通用的；如此緊密地匹配人的能力，只有與大腦類(lèi)似的機(jī)器才能實(shí)現(xiàn)它。 從某種程度上說(shuō)，飛機(jī)遠(yuǎn)比鳥(niǎo)類(lèi)優(yōu)越：它能在更高的高度、更長(zhǎng)的距離、更大的載貨能力下飛行得更快。但是飛機(jī)不能潛入水中捕魚(yú)，也不能從樹(shù)上無(wú)聲地俯沖下來(lái)抓老鼠。同樣地，現(xiàn)代計(jì)算機(jī)在某些方面已經(jīng)大大超過(guò)了人類(lèi)的計(jì)算能力（如國(guó)際象棋），但在被定義為通用智能的一組明確的專(zhuān)門(mén)任務(wù)上卻無(wú)法與人類(lèi)匹敵。 如果我們想要設(shè)計(jì)一個(gè)可以做我們所做的事情的系統(tǒng)，我們就需要根據(jù)相同的設(shè)計(jì)原則來(lái)構(gòu)建它。