面對(duì)每個(gè)月27億活躍用戶產(chǎn)生的數(shù)據(jù)量，F(xiàn)acebook將重心從通用硬件轉(zhuǎn)向AI專用硬件。在今天的開放計(jì)算項(xiàng)目全球峰會(huì)上，發(fā)布并開源了3款A(yù)I硬件，分別是面向訓(xùn)練的Zion、面向推理的Kings Canyon及面向視頻轉(zhuǎn)碼的Mount Shasta。

一個(gè)全家桶app，每個(gè)月要服務(wù)27億人，不容易吶！不信你問Facebook。

為了應(yīng)對(duì)大量的算力要求，這家位于Menlo Park的技術(shù)巨頭，硬是從通用硬件轉(zhuǎn)移到了專用加速器。這些加速器的作用，是保證其數(shù)據(jù)中心的性能，功耗和效率，特別是在AI領(lǐng)域。

今天，F(xiàn)acebook一口氣推出了3款硬件產(chǎn)品，分別是用于AI模型培訓(xùn)的“下一代”硬件平臺(tái)Zion；以及針對(duì)AI推理優(yōu)化的定制專用集成電路Kings Canyon；以及視頻轉(zhuǎn)碼Mount Shasta。并捐贈(zèng)給旗下的開放計(jì)算項(xiàng)目使用。

Open Compute Project（OCP）是Facebook在2011年4月發(fā)起的一個(gè)數(shù)據(jù)中心開放架構(gòu)技術(shù)發(fā)展組織，目前成員包括Intel、Red Hat、Facebook、Mozilla、Rackspace、NTT Data、百度、高盛以及Google等。https://benchlife.info/8597-2/

Facebook稱這三款硬件產(chǎn)品將大大加速AI的訓(xùn)練和推理。“人工智能用于各種服務(wù)，以幫助人們進(jìn)行日常互動(dòng)，并為他們提供獨(dú)特的個(gè)性化體驗(yàn)，” Facebook工程師Kevin Lee，Vijay Rao和William Christie Arnold在博客文章中寫道，“在整個(gè)Facebook的基礎(chǔ)設(shè)施中使用人工智能工作負(fù)載，能夠增強(qiáng)各服務(wù)之間的相關(guān)性，并改善我們的用戶體驗(yàn)。”

Zion

Zion為AI訓(xùn)練創(chuàng)建Block

和Block之間通信

Zion專為處理包括CNN，LSTM和SparseNN在內(nèi)的神經(jīng)網(wǎng)絡(luò)架構(gòu)的“頻譜”而量身定制。包括三個(gè)部分：擁有8個(gè)NUMA CPU插槽的服務(wù)器；配備了8加速器芯片組，以及一個(gè)廠商中立（vendor-agnostic ）的OCP加速器模塊（OAM）。

Zion的高內(nèi)存容量和高帶寬，得益于兩個(gè)高速fabric，一個(gè)用來連接所有的CPU，另一個(gè)用來連接所有的加速器。除此之外，還得益于其靈活的架構(gòu)，可以使用頂部擴(kuò)展到單個(gè)機(jī)架中的多個(gè)服務(wù)器機(jī)架式（TOR）網(wǎng)絡(luò)交換機(jī)。

“加速器內(nèi)存帶寬高但容量低，所以我們通過對(duì)模型進(jìn)行分區(qū)來解決這個(gè)問題：將頻繁訪問的數(shù)據(jù)駐留在加速器上，而訪問頻率較低的數(shù)據(jù)駐留在帶有CPU的DDR內(nèi)存里，“Lee，Rao和Arnold解釋道，“所有CPU和加速器的計(jì)算和通信都是平衡的，并通過高速和低速互連，極大地提高了效率。”

Kings Canyon

Zion為AI推理創(chuàng)建Block

和Block之間通信

至于專為推理任務(wù)而設(shè)計(jì)的Kings Canyon共分四個(gè)部分：Kings Canyon推理M.2模塊；Twin Lakes單插槽服務(wù)器；Glacier Point v2載卡；以及Facebook的Yosemite v2機(jī)箱。Facebook表示正在與Esperanto、Habana，英特爾，Marvell和高通公司合作，開發(fā)能夠同時(shí)支持INT8和高精度FP16工作負(fù)載的ASIC芯片。

ASIC不運(yùn)行通用代碼，需要專門的編譯器將圖形轉(zhuǎn)換為在這些加速器上執(zhí)行的指令。Glow編譯器的目標(biāo)是從更高級(jí)別的軟件堆棧中抽象出特定于供應(yīng)商的硬件，以使基礎(chǔ)架構(gòu)與供應(yīng)商無關(guān)。它接受來自PyTorch 1.0等框架的計(jì)算圖，并為這些ML加速器生成高度優(yōu)化的代碼。

Glow編譯器

Kings Canyon中的每臺(tái)服務(wù)器都結(jié)合了M.2 Kings Canyon加速器，以及一個(gè)連接Twin Lakes服務(wù)器的Glacier Point v2載卡。其中兩個(gè)被安裝到Y(jié)osemite v2 sled中，并通過NIC鏈接到TOR開關(guān)。Kings Canyon模塊包括一個(gè)ASIC，一個(gè)內(nèi)存及其他支持組件，比如通過PCIe通道與加速器模塊通信的CPU。而Glacier Point v2包含一個(gè)集成的PCIe交換機(jī)，允許服務(wù)器同時(shí)訪問所有模塊。

“通過適當(dāng)?shù)膶⒛Ｐ瓦M(jìn)行分割，我們得以運(yùn)行非常大的深度學(xué)習(xí)模型。例如，對(duì)于SparseNN模型，如果單個(gè)節(jié)點(diǎn)的內(nèi)存容量不夠用，就在兩個(gè)節(jié)點(diǎn)之間對(duì)模型進(jìn)行分片，從而增加模型可用的內(nèi)存量。“Lee，Rao和Arnold說過，“這兩個(gè)節(jié)點(diǎn)通過多主機(jī)NIC連接，允許高速交換。”

Mount Shasta

Mount Shasta是與Broadcom和Verisilicon合作開發(fā)的ASIC，專為視頻轉(zhuǎn)碼而開發(fā)。在Facebook的數(shù)據(jù)中心內(nèi)，它將被安裝在帶有集成散熱器的M.2模塊上，位于可容納多個(gè)M.2模塊的Glacier Point v2（GPv2）載板中。

Facebook表示，平均而言，預(yù)計(jì)這些芯片的效率會(huì)比目前的服務(wù)器“高出許多倍”。它的目標(biāo)是在10W功率范圍內(nèi)，以60fps速度輸入流編碼效率至少比4K高出一倍。

“我們希望Zion、Kings Canyon和Mount Shasta的設(shè)計(jì)，能夠滿足我們?cè)贏I訓(xùn)練、AI推理和視頻轉(zhuǎn)碼方面不斷增長的工作量。”Lee，Rao和Arnold寫道，“我們將采取硬件和軟件協(xié)同設(shè)計(jì)，不斷改進(jìn)硬件產(chǎn)品的效率。但一家廠商的能力終歸有限，希望更多的廠商都能夠進(jìn)入Facebook的生態(tài)中，共同努力。“