去年,微軟宣布向OpenAI投資10億美元,該組織的使命是創造人工智能,并使其對人類安全。這里沒有終結者般的反烏托邦。沒有讓人類變成回形針的混亂機器。僅有具有一般智能的計算機才能幫助我們解決最大的問題。
一年過去了,我們取得了這種伙伴關系的第一個成果。在今年的Build 2020開發者大會上,微軟展示了微軟的最新和最偉大的產品。該公司表示,他們已經完成了專門用于OpenAI機器學習研究的超級計算機。但這不是普通的超級計算機。這是一臺機器的野獸。該公司表示,每個GPU服務器具有285,000個CPU內核,10,000個GPU和每秒400吉比特的網絡連接。
微軟表示,與全球最快的超級計算機相比,它排名第五。
該公司未發布性能數據,該計算機也未公開進行基準測試,也未列入被廣泛關注的Top500超級計算機列表。但是即使沒有官方排名,也可以肯定地說它是世界一流的機器。
“隨著我們越來越了解我們需要什么以及組成超級計算機的所有組件的不同限制,我們真的可以說,‘如果我們可以設計我們的夢想系統,它會是什么樣?” ” OpenAI首席執行官Sam Altman說。“然后,Microsoft得以構建它。”
OpenAI將如何使用此夢想機?該公司正在構建更大的狹窄AI算法-我們離AGI還很遙遠-他們需要大量的計算能力才能做到這一點。
對超大型AI模型的追求
最先進的AI模型(即機器學習算法中的神經網絡)的規模一直在快速增長。同時,根據OpenAI,訓練這些模型所需的計算能力每3.4個月翻一番。
模型越大,您需要訓練它的計算機越大。
這種增長部分歸因于每個模型中使用的參數數量。簡而言之,這些是對神經網絡中的數據進行操作而得出的“神經元”值。OpenAI的GPT-2算法從提示中生成令人信服的文本,包含近15億個參數。微軟的自然語言生成AI模型Turing NLG的大小超過10倍,具有170億個參數。現在,據報道,周四剛剛宣布的OpenAI的GPT-3由驚人的1750億個參數組成。
還有另一個趨勢在發揮作用。
盡管許多機器學習算法都是在人類標記的數據集上進行訓練的,但是Microsoft,OpenAI和其他公司也正在追求“無監督”的機器學習。這意味著,有了足夠的原始,未標記的數據,算法就會通過識別數據中的模式來進行自我學習。
某些最新系統還可以在給定域中執行多個任務。在數十億個互聯網頁面的原始文本(從Wikipedia條目到自行出版的書)上訓練的算法,可以推斷單詞,概念和上下文之間的關系。它不僅可以像生成文本那樣僅做一件事,還可以將其學習轉移到同一領域的多個相關任務中,例如閱讀文檔和回答問題。
圖靈NLG和GPT-3算法屬于此類。
微軟首席技術官凱文·斯科特(Kevin Scott)說:“這些模型令人興奮的是它們將實現的功能廣泛。“這是關于能夠一次在自然語言處理中完成一百項令人興奮的事情,以及在計算機視覺中完成一百項令人興奮的事情,當您開始看到這些感知領域的組合時,您將擁有很難的新應用程序甚至現在就可以想象。”
-
微軟
+關注
關注
4文章
6685瀏覽量
105716 -
人工智能
+關注
關注
1806文章
48996瀏覽量
249241
發布評論請先 登錄
NVIDIA驅動的現代超級計算機如何突破速度極限并推動科學發展

Blue Lion超級計算機將在NVIDIA Vera Rubin上運行
NVIDIA技術賦能歐洲最快超級計算機JUPITER
NVIDIA助力全球最大量子研究超級計算機
NVIDIA 宣布推出 DGX Spark 個人 AI 計算機

聯發科與NVIDIA合作 為NVIDIA 個人AI超級計算機設計NVIDIA GB10超級芯片
NVIDIA發布高性價比生成式AI超級計算機
NVIDIA 以太網加速 xAI 構建的全球最大 AI 超級計算機

評論