Google的研究人員開源了一個新框架,該框架可以在數千臺機器上擴大人工智能模型的培訓。
谷歌在一份研究論文中指出,這是一個有前途的發展,因為它應該使AI算法訓練能夠以每秒數百萬幀的速度執行,同時將這樣做的成本降低多達80%。
這種減少可能有助于為那些以前無法與AI等主要參與者競爭的初創公司提供公平的競爭環境。實際上,在云中訓練復雜的機器學習模型的成本令人驚訝地昂貴。
Synced最近的一份報告發現,華盛頓大學花費了25,000美元來訓練其Grover模型,該模型用于檢測和生成假新聞。同時,OpenAI每小時支付256美元來訓練其GPT-2語言模型,而Google本身花費約6,912美元來訓練其BERT模型來進行自然語言處理任務。
SEED RL構建在TensorFlow 2.0框架之上,并通過利用圖形處理單元和張量處理單元的組合來集中模型推斷。然后使用訓練模型的學習器組件集中執行推斷。
目標模型的變量和狀態信息保持局部狀態,并在過程的每個步驟中將對它們的觀察結果發送給學習者。SEED RL還使用基于開源通用RPC框架的網絡庫來最大程度地減少延遲。
谷歌的研究人員說,SEED RL的學習器組件可以擴展到數千個內核,而在環境中采取步驟與在模型上進行推斷以預測下一步操作之間進行迭代的參與者數量可以擴展到數千臺機器。
-
Google
+關注
關注
5文章
1789瀏覽量
59019 -
機器學習
+關注
關注
66文章
8503瀏覽量
134598
發布評論請先 登錄
無刷直流電機雙閉環串級控制系統仿真研究
研究人員開發出基于NVIDIA技術的AI模型用于檢測瘧疾
深度解讀英偉達Newton機器人平臺:技術革新與跨界生態構建

開源項目!Open Echo:一個開源的聲納項目
如何開發一款Google Find My Tag?
蘋果研發ELEGNT框架,推動家用機器人動作自然化
研究人員利用激光束開創量子計算新局面

SSM框架的源碼解析與理解
NVIDIA 推出 BioNeMo 開源框架,擴大全球生物制藥和科學行業的數字生物學研究規模

卷積神經網絡的實現工具與框架
SensiML開源了Analytics Studio AutoML引擎

評論