自英特爾1971年推出全球第一個(gè)微處理器以來(lái)，計(jì)算能力一直以令人驚嘆的步伐發(fā)展演進(jìn)著。根據(jù)摩爾定律，當(dāng)前的計(jì)算機(jī)芯片比50年前的芯片在功能上強(qiáng)大數(shù)百萬(wàn)倍。

盡管數(shù)十年來(lái)處理能力飛速增長(zhǎng)，但直到現(xiàn)在，計(jì)算機(jī)芯片的基本體系結(jié)構(gòu)仍然沒(méi)有太大改變。很大程度上說(shuō)，芯片的創(chuàng)新，需要進(jìn)一步縮小晶體管的體積，讓集成電路可以容納更多晶體管。數(shù)十年來(lái)，英特爾和AMD等廠商通過(guò)提高CPU性能而取得了長(zhǎng)足的發(fā)展，被Clayton Christensen視為“持續(xù)的創(chuàng)新”。

今天，這種情況正在發(fā)生著巨大的變化。人工智能（AI）引發(fā)了半導(dǎo)體創(chuàng)新的“新黃金時(shí)代”——機(jī)器學(xué)習(xí)帶來(lái)獨(dú)特的市場(chǎng)需求和無(wú)限的機(jī)會(huì)，第一次激發(fā)了企業(yè)家們，去重新思考芯片架構(gòu)的基本原則。

他們的目標(biāo)，是設(shè)計(jì)一種專(zhuān)為AI設(shè)計(jì)的新型芯片，為下一代計(jì)算提供動(dòng)力，這也是當(dāng)前所有硬件領(lǐng)域最大的市場(chǎng)機(jī)遇之一。

新的計(jì)算范式

在計(jì)算技術(shù)發(fā)展的歷史中，主流的芯片架構(gòu)一直是CPU。如今，CPU無(wú)處不在，它為筆記本電腦、移動(dòng)設(shè)備和大多數(shù)數(shù)據(jù)中心提供動(dòng)力。

1945年，傳奇人物約翰·馮·諾伊曼（John von Neumann）構(gòu)思了CPU的基本架構(gòu)。值得注意的是，此后他的這一設(shè)計(jì)基本沒(méi)有太大變化，今天，大多數(shù)計(jì)算機(jī)仍是基于馮·諾依曼理論的機(jī)器。

CPU的靈活性使得它有各種各樣的用途：CPU是通用的，能夠有效執(zhí)行軟件所需的任何計(jì)算。不過(guò)盡管CPU的主要優(yōu)勢(shì)是多功能性，然而如今領(lǐng)先的AI技術(shù)需要的，是一種非常特殊且密集的計(jì)算。

深度學(xué)習(xí)需要迭代執(zhí)行數(shù)百萬(wàn)甚至是數(shù)十億個(gè)相對(duì)簡(jiǎn)單的乘法和加法步驟。深度學(xué)習(xí)以線性代數(shù)為基礎(chǔ)，在根本上是基于試錯(cuò)法的：對(duì)參數(shù)進(jìn)行調(diào)整，對(duì)矩陣進(jìn)行乘法運(yùn)算，隨著模型自身的不斷優(yōu)化，在整個(gè)神經(jīng)網(wǎng)絡(luò)中反復(fù)進(jìn)行數(shù)字求和。

這種重復(fù)性的、計(jì)算量巨大的工作流程，對(duì)于硬件體系結(jié)構(gòu)有很重要的要求。「并行化」變得至關(guān)重要，「并行」指的是：處理器能夠同時(shí)、而不是一個(gè)接一個(gè)地執(zhí)行多個(gè)計(jì)算的能力。與之緊密相關(guān)的是，深度學(xué)習(xí)涉及大量數(shù)據(jù)的連續(xù)轉(zhuǎn)換，因此讓芯片內(nèi)存和計(jì)算核心盡可能靠近數(shù)據(jù)所在的位置，可以減少數(shù)據(jù)移動(dòng)，從而大幅提升速度和效率。

CPU尚不足以支持機(jī)器學(xué)習(xí)的獨(dú)特需求。CPU是按順序而非并行地處理計(jì)算任務(wù)，CPU的計(jì)算核心和內(nèi)存通常位于單獨(dú)的模塊上，通過(guò)帶寬受限的通信系統(tǒng)（總線）進(jìn)行連接。這就造成了數(shù)據(jù)移動(dòng)的瓶頸，稱(chēng)為“馮·諾依曼瓶頸”，導(dǎo)致的結(jié)果就是，在CPU上訓(xùn)練神經(jīng)網(wǎng)絡(luò)的效率非常低。

隨著機(jī)器學(xué)習(xí)正在日益普及，傳統(tǒng)芯片已經(jīng)無(wú)法應(yīng)對(duì)現(xiàn)代AI算法的要求，這一點(diǎn)正變得愈加突出。正如AI專(zhuān)家Yann LeCun最近所說(shuō)的：“如果你能穿越到未來(lái)五年或者十年，看看計(jì)算機(jī)大部分時(shí)間都在做些什么的話，我認(rèn)為很可能是機(jī)器學(xué)習(xí)之類(lèi)的事情。”

這時(shí)候，就需要GPU來(lái)推動(dòng)AI的繁榮發(fā)展了。GPU架構(gòu)是由英偉達(dá)（Nvidia）在1990年代后期為游戲應(yīng)用開(kāi)發(fā)的。當(dāng)時(shí)GPU被專(zhuān)門(mén)用于連續(xù)處理大量數(shù)據(jù)，以高幀速率渲染計(jì)算機(jī)游戲畫(huà)面。與CPU不同的是，GPU可以并行地運(yùn)行數(shù)千個(gè)計(jì)算任務(wù)。

在2010年代初，AI領(lǐng)域開(kāi)始意識(shí)到，Nvidia的游戲芯片實(shí)際上非常適合處理機(jī)器學(xué)習(xí)算法所需的工作負(fù)載，于是，GPU幸運(yùn)地找到了新的目標(biāo)市場(chǎng)。Nvidia抓住了這個(gè)機(jī)遇，將自己定位為“AI硬件市場(chǎng)領(lǐng)先提供商”，結(jié)果收獲了驚人的收益——從2013年到2018年，Nvidia的市值增長(zhǎng)了20倍。

然而，正如Gartner分析師Mark Hung所說(shuō)，“大家知道GPU并非針對(duì)AI工作負(fù)載進(jìn)行了優(yōu)化。”雖然GPU已經(jīng)被AI領(lǐng)域廣泛采用，但它并非為AI而生。

近些年來(lái)，有一大批企業(yè)家和技術(shù)人員開(kāi)始重新構(gòu)想計(jì)算機(jī)芯片，從頭開(kāi)始對(duì)其進(jìn)行優(yōu)化，以釋放AI的無(wú)限潛力。Alan Kay的一段話令人難忘：“真正認(rèn)真對(duì)待軟件的人，應(yīng)該自己制造硬件。”

過(guò)去兩年中，有5個(gè)芯片獨(dú)角獸涌現(xiàn)，很多初創(chuàng)公司的估值令人瞠目結(jié)舌。傳統(tǒng)CPU巨頭英特爾為了避免被顛覆，所以進(jìn)行了兩項(xiàng)重大收購(gòu)：2016年4月以4.08億美元收購(gòu)了Nervana Systems，2019年12月以20億美元收購(gòu)了Habana Labs。未來(lái)幾年，這場(chǎng)競(jìng)賽將繼續(xù)進(jìn)行下去，爭(zhēng)奪這個(gè)規(guī)模數(shù)千億美元的市場(chǎng)。