英特爾首次展示了將神經(jīng)形態(tài)芯片Loihi與經(jīng)典計(jì)算和主流深度學(xué)習(xí)加速器進(jìn)行比較的性能結(jié)果摘要。結(jié)果表明，盡管Loihi可能無法提供比其他前饋神經(jīng)網(wǎng)絡(luò)方法更多的優(yōu)勢，但對于其他工作負(fù)載（例如遞歸神經(jīng)網(wǎng)絡(luò)）卻可以實(shí)現(xiàn)較大的延遲和功率效率增益。英特爾希望第一組定量結(jié)果將為開發(fā)適用于所有類型神經(jīng)形態(tài)硬件的正式神經(jīng)形態(tài)基準(zhǔn)鋪平道路。

英特爾已經(jīng)將其Loihi芯片與其他計(jì)算架構(gòu)進(jìn)行了基準(zhǔn)測試（圖片來源：英特爾）

“經(jīng)過數(shù)十年的神經(jīng)形態(tài)研究，人們對令人驚嘆的AI功能，效率的巨大突破做出了許多承諾，但是很少有公開的定量結(jié)果來表明這是否是真實(shí)的，如果是的話，我們到底從哪里得到這些信息？有收獲嗎？”英特爾神經(jīng)形態(tài)研究主管Mike Davies告訴EE Times。

他繼續(xù)說：“這是我們研究計(jì)劃中的任務(wù)，在我們試圖將技術(shù)迅速推向商業(yè)應(yīng)用之前，我們正在采取一種有條不紊的，有條不紊的研究方法，在此我們首先要了解許多不同方向中的哪一個(gè)。就神經(jīng)科學(xué)的啟發(fā)而言，這實(shí)際上可以產(chǎn)生最令人信服的結(jié)果?！?/p>

深度學(xué)習(xí)比較
真的有可能在神經(jīng)形態(tài)芯片和其他計(jì)算硬件的結(jié)果之間進(jìn)行有意義的比較嗎？通常會演示神經(jīng)形態(tài)硬件運(yùn)行諸如尖峰神經(jīng)網(wǎng)絡(luò)之類的“外來”算法，這與深度學(xué)習(xí)中發(fā)現(xiàn)的算法類型非常不同。

戴維斯說：“關(guān)于神經(jīng)形態(tài)研究存在困惑，因?yàn)槲覀兛梢栽谙馤oihi這樣的神經(jīng)形態(tài)芯片上運(yùn)行的東西與這些深度學(xué)習(xí)模型的作用之間存在重疊。”“在多個(gè)方面，我們有多種方法可以從深度學(xué)習(xí)社區(qū)中提取學(xué)習(xí)內(nèi)容，并將其導(dǎo)入神經(jīng)形態(tài)世界。”

英特爾神經(jīng)形態(tài)研究社區(qū)（INRC）是一個(gè)由100多家使用英特爾Loihi硬件探索神經(jīng)形態(tài)計(jì)算的公司組成的社區(qū)，作為這項(xiàng)工作的一部分，它能夠在Loihi上運(yùn)行深度學(xué)習(xí)算法。算法可能是現(xiàn)有的以常規(guī)方式訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)，然后轉(zhuǎn)換為Loihi可以使用的格式，因此可以對其進(jìn)行基準(zhǔn)測試。這是一種方法，但是實(shí)際上可以在Loihi上運(yùn)行深度學(xué)習(xí)算法的其他幾種方法（下圖中的區(qū)域1）。

一種是使用反向傳播，它是使深度學(xué)習(xí)取得成功的一種算法技術(shù)，因?yàn)樗梢栽谟?xùn)練過程中對權(quán)重進(jìn)行微調(diào)。經(jīng)常由神經(jīng)形態(tài)芯片（尖峰神經(jīng)網(wǎng)絡(luò)）運(yùn)行的網(wǎng)絡(luò)類型可以配制成數(shù)學(xué)上可微分的形式，允許應(yīng)用反向傳播以優(yōu)化結(jié)果。

另一個(gè)選擇是嘗試在芯片上執(zhí)行反向傳播，這相當(dāng)于當(dāng)今（離線）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式，但是用于基于采集的數(shù)據(jù)在現(xiàn)場進(jìn)行增量訓(xùn)練。

神經(jīng)科學(xué)啟發(fā)的方法與機(jī)器學(xué)習(xí)之間的算法交叉。區(qū)域1代表深度學(xué)習(xí)。區(qū)域2是神經(jīng)形態(tài)算法，例如尖峰神經(jīng)網(wǎng)絡(luò)。區(qū)域3是目標(biāo)-基于來自區(qū)域1和2的實(shí)驗(yàn)方法的算法，這些算法已經(jīng)數(shù)學(xué)上形式化，因此可以應(yīng)用于其他類型的問題。圖片：英特爾）

基準(zhǔn)測試結(jié)果結(jié)果
英特爾在INRC成員發(fā)表的論文（以下）上繪制了性能（潛伏期和功耗）結(jié)果圖表，其中包括Loihi與CPU，GPU，Movidius神經(jīng)計(jì)算棒或IBM的Truemorph North Neuromorphic技術(shù)之間的量化比較。所有結(jié)果均適用于數(shù)據(jù)樣本一一到達(dá)（批大小為1）的應(yīng)用，類似于實(shí)時(shí)生物系統(tǒng)。

Loihi系統(tǒng)與其他類型計(jì)算的實(shí)驗(yàn)結(jié)果。標(biāo)記的大小代表神經(jīng)網(wǎng)絡(luò)的相對大小（圖片來源：英特爾）

戴維斯說：“這些[數(shù)據(jù)點(diǎn)]中的每一個(gè)都需要大量的工作，這就是為什么迄今為止在神經(jīng)形態(tài)領(lǐng)域還沒有完成太多工作的原因。”“要獲得這些測量值，找到正確的基線比較點(diǎn)并真正完成這項(xiàng)嚴(yán)格的工作非常困難。但是我們一直在敦促合作者做到這一點(diǎn)，因?yàn)閾碛羞@樣的情節(jié)非常令人興奮。”

圖上每個(gè)點(diǎn)的大小代表網(wǎng)絡(luò)的大小；較大的標(biāo)記使用更多的Loihi籌碼，最大的代表500多個(gè)籌碼）。將這些Loihi系統(tǒng)與單個(gè)計(jì)算子系統(tǒng)（單個(gè)CPU / GPU加上內(nèi)存）進(jìn)行了比較。Davies說，要進(jìn)行蘋果之間的比較并不容易，因?yàn)镃PU可以添加DRAM來幫助擴(kuò)展，而Loihi只能添加更多的Loihi芯片。

每個(gè)系統(tǒng)中是否可以有更多的計(jì)算芯片來改善CPU和GPU的性能？

戴維斯說：“對于這種規(guī)模的網(wǎng)絡(luò)，這是不可能的?！薄鞍闯Ｒ?guī)標(biāo)準(zhǔn)，支配該圖的小數(shù)據(jù)點(diǎn)都是很小的網(wǎng)絡(luò)……總的來說，對于我們正在研究的問題類型，它們并不能很好地并行化。Loihi實(shí)現(xiàn)能夠很好??地?cái)U(kuò)展的原因是因?yàn)榇嬖诜浅＞?xì)的規(guī)模并行性，并且神經(jīng)元之間的通信發(fā)生在微微秒的規(guī)模上，并且體系結(jié)構(gòu)能夠?qū)Υ诉M(jìn)行處理。”

高度精細(xì)的并行通信是Loihi架構(gòu)的基礎(chǔ)。常規(guī)體系結(jié)構(gòu)將粗粒度的工作塊分開，以使工作負(fù)載并行化。對于深度學(xué)習(xí)，這通常是通過分批完成的。Davies說，這種技術(shù)在這里無濟(jì)于事，因?yàn)殛P(guān)鍵指標(biāo)是處理單個(gè)數(shù)據(jù)樣本的延遲。

到目前為止獲得的結(jié)果的關(guān)鍵見解是，Loihi對于前饋網(wǎng)絡(luò)幾乎沒有提供性能優(yōu)勢，前饋網(wǎng)絡(luò)是一種廣泛用于主流深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，因?yàn)樗鼈兏菀自诔Ｒ?guī)深度學(xué)習(xí)加速器硬件上進(jìn)行訓(xùn)練（見圖）下面）。

戴維斯說：“非常值得注意的是，數(shù)據(jù)點(diǎn)如此干凈地分離，前饋網(wǎng)絡(luò)提供的吸引力最小，在某些情況下，Loihi更糟。”

在Loihi系統(tǒng)上運(yùn)行遞歸神經(jīng)網(wǎng)絡(luò)可獲得最大的收益，在該系統(tǒng)中，性能降低了1000到10,000倍，解決時(shí)間提高了100倍。

Loihi系統(tǒng)與其他類型的計(jì)算的實(shí)驗(yàn)結(jié)果，突出顯示了哪些工作負(fù)載是前饋網(wǎng)絡(luò)。標(biāo)記的大小代表神經(jīng)網(wǎng)絡(luò)的相對大?。▓D片來源：英特爾）

未來的基準(zhǔn)測試
英特爾宣布打算將其用于此類工作的軟件開源，從而邁出了邁向神經(jīng)形態(tài)基準(zhǔn)測試的第一步。將此代碼開源，將允許其他人在其神經(jīng)形態(tài)平臺上運(yùn)行相同的工作負(fù)載，并降低進(jìn)入神經(jīng)形態(tài)計(jì)算和INRC的障礙。

戴維斯說：“我們很高興能夠開始比較不同組的神經(jīng)形態(tài)芯片得到的結(jié)果。”“但是對我們而言，最初的工作重點(diǎn)是針對常規(guī)體系結(jié)構(gòu)進(jìn)行基準(zhǔn)測試，以了解我們應(yīng)將什么放入神經(jīng)形態(tài)基準(zhǔn)套件中，然后再用于推動神經(jīng)形態(tài)領(lǐng)域的進(jìn)步。”

未來神經(jīng)形態(tài)基準(zhǔn)測試的很大一部分是了解應(yīng)包括哪些類型的算法。對于深度學(xué)習(xí)，候選人更為明顯– ResNet-50的使用如此廣泛，以至于它已成為事實(shí)上的基準(zhǔn)。在神經(jīng)形態(tài)空間中沒有等效項(xiàng)，因?yàn)樗臃稚ⅲ⑶矣布咚惴ㄌ囟ㄐ浴?/p>

“我認(rèn)為重要的是，我們要從這類新興的工作負(fù)載中建立實(shí)際的方法，正式的基準(zhǔn)測試，在這些工作負(fù)載中，我們可以看到神經(jīng)形態(tài)硬件的好處，并在那里進(jìn)行標(biāo)準(zhǔn)化。但是我認(rèn)為這是下一步?！贝骶S斯說?！拔覀儺?dāng)然希望在這個(gè)方向上領(lǐng)導(dǎo)這一領(lǐng)域。為了使之成為可能，還需要進(jìn)行進(jìn)一步的融合，尤其是在軟件方面?！?/p>

通過這些結(jié)果，英特爾希望證明Loihi可以在一系列復(fù)雜的，困難的，以大腦為靈感的工作負(fù)載上提供巨大的性能提升，即使它尚不知道這些工作負(fù)載的外觀如何。

戴維斯說：“在英特爾，我們的目標(biāo)比其他任何事情都重要，要確保這是各種各樣的工作負(fù)載。”“我們不打算制造用于約束滿足解決方案的點(diǎn)加速器，也不是機(jī)器人手臂操縱器。我們希望這是一種類似于CPU或GPU的新型計(jì)算機(jī)體系結(jié)構(gòu)，但是如果優(yōu)化得當(dāng)，它將固有地很好地運(yùn)行各種大腦啟發(fā)的智能工作負(fù)載?！?br /> 編輯：hfy