著名計算機科學家Bill Dally講述他的團隊如何助力AI性能實現逐年翻倍

今天，NVIDIA首席科學家Bill Dally在GTC中國線上大會主題演講中說道，NVIDIA的研究人員致力于打造速度更快的AI芯片，并將其用于具有更高帶寬的系統，從而簡化編程。

他以三個項目為例，講述了自己帶領的200人的研究團隊如何成功實現“黃氏定律 （Huang’s Law）”。這則以NVIDIA首席執行官黃仁勛（Jensen Huang）名字命名的定律，預測GPU將推動AI性能實現逐年翻倍。

Dally 講述：“如果我們真想提高計算機性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。此前，Dally曾負責NVIDIA在AI、光線追蹤和高速互連領域的相關研究。”

NVIDIA助力 AI推理性能每年提升一倍以上

超高能效加速器

為實現這一突破，NVIDIA研究人員專門開發了一種名為MAGNet的工具，其生成的AI推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個數量級。

MAGNet采用了一系列新技術來協調并控制通過設備的信息流，最大限度地減少數據傳輸，而數據傳輸正是當今芯片中最耗能的環節。這一研究原型以模組化實現，因此能夠靈活擴展。

另外，研究團隊還開展了一項研究，旨在以更快速的光鏈路取代現有系統內的電氣鏈路。

發揮所有光子的潛能

Bill Dally 擁有120多項專利，在2009年加入NVIDIA之前，曾任斯坦福大學計算機科學系主任。Dally表示：“我們可以將連接GPU的NVLink速度提高一倍，也許還會再翻番，但電子信號最終會消耗殆盡?！?/p>

該團隊正在與哥倫比亞大學的研究人員密切合作，探討如何利用電信供應商在其核心網絡中所采用的技術，通過一條光纖來傳輸數十路信號。

這種名為“密集波分復用”的技術， 有望在僅一毫米大小的芯片上實現Tb/s級數據的傳輸，是如今互連密度的十倍以上。

除了更大的吞吐量，光鏈路也有助于打造更為密集型的系統。Dally舉例展示了一個未來將搭載160多個GPU的NVIDIA DGX系統模型。

工程師借助光鏈路，在單一系統中可搭載160多個GPU

軟件方面，NVIDIA的研究人員開發了全新編程系統原型Legate。開發者借助Legate，即可在任何規模的系統上，運行針對單一GPU編寫的程序——甚至適用于諸如Selene等搭載數千個GPU的巨型超級計算機。

Legate將一種新的編程速記融入了加速軟件庫和高級運行時環境Legion，目前它正在美國國家實驗室接受測試。

描繪美好未來

除上述三項研究，Dally還在主題演講中談到了NVIDIA特別針對醫療健康、無人駕駛汽車和機器人等眾多行業打造的平臺。同時，他還致力于鉆研數據科學、AI和圖形處理。

Dally表示：“經過幾代人的努力，NVIDIA的產品將通過基于物理渲染的路徑追蹤技術，實時生成令人驚艷的圖像，并能夠借助AI構建整個場景。”

此外，他還首次公開展示了NVIDIA的對話式AI框架Jarvis與GauGAN的完美組合。GauGAN利用生成式對抗網絡，只需簡略構圖，就能創建美麗的風景圖。在演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

在主題演講視頻錄制的間隙，Dally接受了采訪，表示對研究團隊在多個領域取得的開創性進展深感自豪。

他說：“當前，NVIDIA在光線追蹤領域所取得進展，都始于NVIDIA 研究院打造的原型，我們的產品團隊都很興奮。2011年，我委派NVIDIA研究員Bryan Catanzaro與斯坦福大學教授Andrew Ng共同合作一個項目，后來打造出CuDNN軟件，讓深度學習領域大量的研究工作成為可能。”

立足網絡領域

此外，Dally還牽頭開展了一項合作，構建了 NVLink和 NVSwitch最初的原型。NVLink和 NVSwitch如今用于全球最大型的超級計算機中，實現了其內部GPU的互連。

他說：“產品團隊總能迅速將研究工作轉化為實際成果，這也是NVIDIA如今能夠成為全球公認最領先的網絡公司之一的原因?！?/p>

談及對科技的熱情，Dally說自己就像個沉浸在糖果故事里的孩子。也許某一天，原本還在幫助一組團隊研究AI加速器的他，就會突然轉而幫助另一團隊解決機器人領域的復雜問題。

他說：“我現在所做的，是一份全世界，或者起碼是全公司里最有趣的工作，讓我有機會能夠助力塑造未來?！?/p>

除大會主題演講外，GTC中國線上大會還將提供220多場主題演講和分論壇，均可免費參加，且絕大多數將使用中文。

GTC中國線上大會高峰論壇及初創企業展示

主題演講之后，NVIDIA的資深專家將齊聚高峰論壇，介紹公司在AI、數據科學和醫療健康領域的多項突破性技術在中國的落地應用。

此外，面向AI和數據科學領域初創企業的孵化項目NVIDIA初創加速計劃（NVIDIA Inception）將邀請12家領軍中國初創企業出席此次大會。

大會吸引了眾多行業領軍企業與機構參與其中，包括阿里巴巴、AWS、百度、字節跳動、中國電信、戴爾科技、滴滴、新華三、浪潮、快手、聯想、微軟、平安、騰訊、清華大學和小米。