英偉達詳細介紹了一種微型測試芯片，可以獨立完成底層工作；但當36個芯片團結(jié)起來時，性能可以提升32倍。與使用相同精度的先前原型相比，單個芯片的面積效率至少為16倍，能量效率為1.7倍。

如何確保在大型和小型任務(wù)之間切換，而不至于犧牲效率呢？顯然把單個的、實驗性的加速器芯片，變成可以隨意組合的模塊化形式，是一個具備可行性的解決方案，這也是英偉達在做的事情。

作為GPU動力工廠，英偉達當然希望能夠為各種規(guī)模的AI任務(wù)提供解決方案：從大規(guī)模的數(shù)據(jù)中心任務(wù)、到始終在線的低功耗神經(jīng)網(wǎng)絡(luò)（這些網(wǎng)絡(luò)需要監(jiān)聽語音助理接收到的喚醒詞）。

這不是個簡單的任務(wù)，通常來說需要將幾種不同的技術(shù)混合使用。可是，這樣的方式顯然不如只部署一種好。

英偉達一直在尋求“one ring to rule them all”的解決方案：是否可以構(gòu)建一些可擴展的模塊化產(chǎn)品，同時在整個環(huán)節(jié)中又不過多浪費每個瓦特的效率呢？其首席科學(xué)家Bill Dally說，英偉達最終找出了答案。答案是肯定的。

上個月舉行的VLSI研討會上，英偉達詳細介紹了一款小巧的測試芯片，它可以獨立完成底層的工作，也可以在一個模塊中與多達36個同類型芯片緊密聯(lián)系，進行深度學(xué)習(xí)一類的重任務(wù)，而且每個芯片都實現(xiàn)了大致相同的頂級性能。

單個加速器芯片更多的是被設(shè)計成為深度學(xué)習(xí)的執(zhí)行方，而不是訓(xùn)練方。工程師測量這種“推理”芯片的性能的方式，通常是根據(jù)每焦耳能量或毫米面積可以進行多少次操作。

英偉達原型芯片中，一個峰值可達到每秒4.01 Tera次操作（相當于每秒10000億次）和每毫米1.29 TOPS。

和其他組中使用相同精度的先前原型比，該單芯片的面積效率至少是這些原型的16倍，能量效率至少達到1.7倍。

而當36個芯片連接成為一個芯片系統(tǒng)后，它達到了127.8 TOPS，相當于性能提升了32倍！

通過這項研究，英偉達試圖證明，只用一種技術(shù)應(yīng)對所有場景是可能的、也是可行的。或者，起碼當這些芯片和多芯片模塊中英偉達的網(wǎng)狀網(wǎng)絡(luò)連接在一起的時候，可以做得到。

這些模塊基本上是小型印刷電路板或硅片，它們也可以作為一個大型IC處理多個芯片。這種形式正變得越來越流行，因為可以將幾個較小芯片隨意組成系統(tǒng)（通常稱為小芯片，相對單一的更大、更昂貴的大芯片而言）。下圖是多芯片模塊的圖例：

Dally解釋道：“多芯片模塊的形式具有很多優(yōu)勢。不僅適用于未來可擴展的（深度學(xué)習(xí)）加速器，還適用于構(gòu)建具有不同功能的加速器的產(chǎn)品版本。”

英偉達多芯片模塊之所以能夠?qū)⑿碌纳疃葘W(xué)習(xí)芯片綁定在一起，關(guān)鍵是一個使用了稱為“ground-referenced信號”技術(shù)的芯片間網(wǎng)絡(luò)。

顧名思義，GRS使用導(dǎo)線上的電壓信號和common ground之間的差來傳輸數(shù)據(jù)，同時避免了該方法的許多已知缺陷。

它可以使用單根線傳輸25GB/秒的數(shù)據(jù)，而大多數(shù)技術(shù)需要一對電線才能達到同樣的速度。使用單線可以提高每秒毫米邊緣流量的數(shù)據(jù)量，達到每秒高達幾TB的數(shù)據(jù)量。更重要的是，GRS的功耗僅為每比特幾皮焦。

不止如此，Dally還表示，他們已經(jīng)完成了一個版本，使得該芯片的TOPS/W實現(xiàn)了翻倍。而他的團隊也在不斷推動新的加速技術(shù)，希望達到200 TOP/W的同時，仍然保持可擴展性。