機(jī)器學(xué)習(xí)已然無處不在。它藏身于很多智能設(shè)備中，一部智能手機(jī)、一個(gè)智能音響、線上購物娛樂的一個(gè)個(gè)APP里……它像是虛擬世界和物理世界的“縫合者”，用算法和數(shù)據(jù)試圖“猜透”人心。

各大廠商對(duì)機(jī)器學(xué)習(xí)的熱情越來越高，對(duì)算法、算力和數(shù)據(jù)提出新的要求，尤其是對(duì)算力需求的激增，進(jìn)一步催生相關(guān)芯片和專用設(shè)備的蓬勃?jiǎng)?chuàng)新，而在后摩爾時(shí)代，這種創(chuàng)新或?qū)⒊蔀橥黄扑懔O限的關(guān)鍵。

數(shù)據(jù)“喂”大的機(jī)器智能

什么是機(jī)器學(xué)習(xí)？簡(jiǎn)單來說，機(jī)器學(xué)習(xí)使用算法在數(shù)據(jù)中發(fā)現(xiàn)模式，然后使用一個(gè)能識(shí)別這些模式的模型對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

由此可見，數(shù)據(jù)是讓一個(gè)算法從實(shí)驗(yàn)室走到物理世界的關(guān)鍵。數(shù)據(jù)量、數(shù)據(jù)多樣性以及規(guī)?；?、成本可靠的數(shù)據(jù)來源渠道等都是影響最終結(jié)果的關(guān)鍵要素。其中，有一項(xiàng)關(guān)鍵的工作需要大量的人力參與——數(shù)據(jù)的社會(huì)化標(biāo)注?！澳撤N意義上，機(jī)器永遠(yuǎn)離不開人類。”澳鵬（Appen）中國產(chǎn)品總監(jiān)張童皓對(duì)集微網(wǎng)表示。澳洲公司Appen成立于1996年，多年來一直是AI產(chǎn)業(yè)鏈中比較靠前的數(shù)據(jù)節(jié)點(diǎn)來為客戶提供服務(wù)，業(yè)務(wù)涉及提供圖像、文本、語音、音頻、視頻及其他數(shù)據(jù)收集和標(biāo)注服務(wù)。

眾所周知，神經(jīng)網(wǎng)絡(luò)是當(dāng)前人工智能發(fā)展的基石技術(shù)?！吧窠?jīng)網(wǎng)絡(luò)的專長就是在像素點(diǎn)里面嘗試著取出一系列的關(guān)鍵點(diǎn)，而這些關(guān)鍵點(diǎn)是由人工標(biāo)注出來的?！睆埻┱f，“如果你丟給機(jī)器一堆無規(guī)則的隨機(jī)圖片，它永遠(yuǎn)都不知道這個(gè)圖片里面有人。”

隨著AI應(yīng)用要求的不斷提升，訓(xùn)練的難度和對(duì)數(shù)據(jù)的要求也隨之提升。張童皓告訴集微網(wǎng)，他們?cè)?jīng)為配合一家手機(jī)客戶的一項(xiàng)算法訓(xùn)練提供數(shù)據(jù)服務(wù)，拍攝全世界各地不同經(jīng)度、不同緯度的月亮照片。“如果采用在一個(gè)國家的不同地方所觀察到的月亮，而不是在全球各個(gè)地方實(shí)地觀察，那么其標(biāo)注的數(shù)據(jù)一旦應(yīng)用于全世界數(shù)據(jù)中，錯(cuò)誤的數(shù)據(jù)將會(huì)給后續(xù)一系列應(yīng)用帶來錯(cuò)誤的結(jié)果?！蹦壳癆ppen的平臺(tái)上有超過100萬名參與人工智能數(shù)據(jù)收集、標(biāo)注的人員，他們來自全球130個(gè)國家或地區(qū)的7萬多個(gè)地方，涵蓋180 多種語言和方言。

機(jī)器對(duì)數(shù)據(jù)的“胃口”越來越越大。以谷歌的BERT為例，這是該公司2018年建立并用于其搜索引擎的AI語言模型，它具有超過3.5億個(gè)內(nèi)部參數(shù)，使用33億個(gè)文字單詞進(jìn)行了訓(xùn)練，大部分來自在線的維基百科。而研究人員稱，如果可以用更大的數(shù)據(jù)量，比如300億個(gè)單詞訓(xùn)練一個(gè)系統(tǒng)，那么它的性能顯然將更好。而更多的數(shù)據(jù)意味著需要更多的計(jì)算能力來處理這一切。

算力需求激增 催生芯片創(chuàng)新

據(jù)《經(jīng)濟(jì)學(xué)人》統(tǒng)計(jì)，從2012年到2018年，用于訓(xùn)練大型模型的計(jì)算能力已增長了30萬倍，并且約每三個(gè)半月翻一番。值得注意的是，支持這一發(fā)展速度需要的遠(yuǎn)不止摩爾定律所能實(shí)現(xiàn)的改進(jìn)。更何況如今正值摩爾定律走向枯竭之際，如何不斷提升系統(tǒng)性能以滿足人工智能訓(xùn)練的需求？后摩爾時(shí)代的AI革命顯然需要新的顛覆——從計(jì)算架構(gòu)開始，做算法、硬件和軟件的共同優(yōu)化變得尤為關(guān)鍵。

對(duì)算力需求的激增，也進(jìn)一步催生AI專用芯片和專用設(shè)備的蓬勃發(fā)展，并促使芯片層面的多種創(chuàng)新。

張童皓也觀察到了芯片技術(shù)和機(jī)器學(xué)習(xí)之前的相互影響。他指出，基于機(jī)器學(xué)習(xí)的芯片架構(gòu)發(fā)展，已經(jīng)從最初的硬件通用化到場(chǎng)景定制化服務(wù)，“很多AI行業(yè)的領(lǐng)頭羊在特定芯片模組上的投入，都是在服務(wù)AI場(chǎng)景化落地?！?/p>

比如，蘋果的自研芯片里有一個(gè)專門用于機(jī)器學(xué)習(xí)的處理器——神經(jīng)引擎，它和CPU、GPU一起處理機(jī)器學(xué)習(xí)所需要的大量的運(yùn)算。據(jù)蘋果公司全球副總裁葛越在今年上海的世界人工智能大會(huì)上透露，該神經(jīng)引擎每秒鐘可以完成高達(dá)五萬億次的運(yùn)算。此外，谷歌自行設(shè)計(jì)了TPU（張量處理單元）芯片，百度自行開發(fā)的AI芯片“昆侖”。英特爾則在去年12月以20億美元收購了以色列公司哈瓦那實(shí)驗(yàn)室（Habana Labs），該公司的云端AI推理芯片已經(jīng)商用。成立于2016年的英國公司Graphcore則正在開發(fā)一種新型處理器——IPU（intelligent processing unit，智能處理器），可以幫助加速機(jī)器智能產(chǎn)品和服務(wù)的開發(fā)，該公司2019年的估值已達(dá)到20億美元。

此類創(chuàng)新將變得越來越重要，因?yàn)锳I引發(fā)的計(jì)算能力需求的激增正值摩爾定律逐漸枯竭之際——在過去50年里，傳統(tǒng)數(shù)字計(jì)算機(jī)的性能按照摩爾定律一路提升——集成電路（微芯片）的容量大約每18-24個(gè)月翻一番。如今，數(shù)字計(jì)算機(jī)性能的發(fā)展速度似乎正在放慢。

突破摩爾定律的嘗試

摩爾定律和馮諾依曼架構(gòu)的瓶頸在算力需求激增之下日益凸顯。尋找新的替代方案突破蠻力計(jì)算變得尤為重要。

復(fù)旦大學(xué)信息學(xué)院研究員、新氦類腦智能首席科學(xué)家鄒卓教授指出，摩爾定律的挑戰(zhàn)在于——無法承受的能耗密度，原子尺度的尺寸、制程、器件的不穩(wěn)定性和偏差，以及比例縮小并沒有帶來實(shí)質(zhì)性的性能提升，高昂的研發(fā)和制造成本。與此同時(shí)，馮諾依曼計(jì)算架構(gòu)不斷抵近極限，即內(nèi)存的讀取速度和芯片的處理速度漸漸難以實(shí)現(xiàn)同步。

量子計(jì)算是一種解決方式——利用量子力學(xué)的反直覺特性來大幅加速某些類型的計(jì)算。比如，微軟研究院量子架構(gòu)與計(jì)算小組負(fù)責(zé)人提出一種稱為葛洛沃算法（Grover‘s algorithm）的量子計(jì)算技術(shù)，該技術(shù)有望大大提高計(jì)算速度。因?yàn)殛P(guān)于機(jī)器學(xué)習(xí)的一種思考方式是將其視作優(yōu)化問題，即計(jì)算機(jī)試圖在數(shù)百萬個(gè)變量之間折中取舍，以求出誤差盡可能小的解

另一種思路則是從生物學(xué)中得到啟發(fā)。這個(gè)領(lǐng)域以大腦的神經(jīng)網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)開發(fā)下一代計(jì)算機(jī)。神經(jīng)形態(tài)計(jì)算聚焦脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network，SNN）被業(yè)界稱作第三代神經(jīng)網(wǎng)絡(luò)

“生物是很高效的計(jì)算系統(tǒng)。”鄒卓指出，借助類腦技術(shù)大規(guī)模并行、事件驅(qū)動(dòng)、實(shí)施環(huán)境交互、感算存緊密耦合協(xié)同等特點(diǎn)，開發(fā)能夠如人腦般感知、傳遞、處理和運(yùn)用信息的智能芯片與系統(tǒng)，有望突破摩爾定律以及馮諾依曼架構(gòu)的瓶頸。

“像人腦一樣的存算一體，打破了傳統(tǒng)馮諾依曼架構(gòu)存儲(chǔ)計(jì)算分離的架構(gòu)，這是類腦計(jì)算的核心突破?！毙潞ゎ惸X智能企業(yè)戰(zhàn)略總監(jiān)程韞韻對(duì)集微網(wǎng)解釋，存算一體的模式，即把內(nèi)存和計(jì)算單元兩者作為一個(gè)單元，不會(huì)因計(jì)算任務(wù)的架構(gòu)復(fù)雜化而功耗激增，這也讓計(jì)算耗電和散熱兩大難題找到了新的方向。

Facebook內(nèi)部做過一項(xiàng)統(tǒng)計(jì)，其AI負(fù)責(zé)人曾透露，該公司那些最大型的模型進(jìn)行一輪訓(xùn)練可能需要耗費(fèi)數(shù)百萬美元的電力。相比之下，同樣的情況人腦消耗的能量可能僅需其千分之一。

看起來，這似乎在突破蠻力計(jì)算上充滿潛力，近年來不少科技公司也都涉足研究“神經(jīng)形態(tài)”芯片。

2011年，IBM發(fā)布了TrueNorth芯片。2014年TrueNorth更新了第二代，功耗達(dá)到了平方厘米消耗20毫瓦，印證了類腦芯片的低功耗價(jià)值，也在一些AI任務(wù)上印證了類腦芯片的實(shí)際工作能力。緊隨其后的是英特爾。2017年，英特爾發(fā)布了類腦芯片Loihi，其擁有13萬個(gè)人造突觸。2019年7月，英特爾又發(fā)布了首個(gè)大規(guī)模神經(jīng)形態(tài)計(jì)算系統(tǒng)Pohoiki Beach。該系統(tǒng)由64塊Loihi組合而成，可以在自動(dòng)導(dǎo)航、陸續(xù)規(guī)劃等需要高效執(zhí)行的AI任務(wù)中帶來高于GPU的功耗和處理能力。此外，高通也開發(fā)過名為Zeroth的類腦芯片。中國業(yè)界在該領(lǐng)域也加緊投入，如浙大的“達(dá)爾文”芯片、清華的“天機(jī)”芯片等都已在路上。其中清華的“天機(jī)”芯片作為全球首款異構(gòu)融合類腦芯片去年登上了《自然》（Nature）雜志封面。

但需要指出的是，這一切都尚未成熟。量子計(jì)算的應(yīng)用落地還面臨很多工程設(shè)計(jì)問題。類腦智能層面，一方面科學(xué)家仍然不完全了解大腦究竟是怎么工作的，另一方面適配類腦計(jì)算的架構(gòu)、算法、編程方案等等也處在廣泛的空白期。

顯然，找到繞開比特編程和摩爾定律的替代方案，并使之從實(shí)驗(yàn)室步入現(xiàn)實(shí)世界，還有很長的路要走。
責(zé)任編輯:tzh