近年來人工智能領(lǐng)域的發(fā)展可謂是日新月異主要突出個“大”“快”“準”
參數(shù)和算力規(guī)模越來越大、新模型的出現(xiàn)和迭代越來越快、預測結(jié)果越來越準。
回看剛剛過去的2022,好像每隔幾個月就會有公司發(fā)布一個新的AI模型,讓有史以來最大的AI模型這一稱號反復易手,全球各大頂尖的科技公司在此展開“軍備競賽”并樂此不疲。
當然,模型的“大”也帶來了性能的“強”,最近大火的ChatGPT已經(jīng)能為你寫出代碼,甚至改變現(xiàn)有的搜索格局。就比如微軟正在將ChatGPT加入到Bing中來對抗Google,可謂是火藥味滿滿。
人工智能賽道的激烈交火
自從2018年谷歌推出3億模型參數(shù)的BERT模型,大規(guī)模預訓練模型逐漸進入人們的視野。隨后OpenAI推出了15億參數(shù)的GPT-2,這場軍備競賽便已開始了“低烈度”交火。
到了2020年,GPT-3的出現(xiàn)將這場軍備競賽直接拉升到千億級別。現(xiàn)在,萬億級別的Switch Transformer模型已經(jīng)出現(xiàn)。在未來這場“軍備競賽”也許會更加激烈。
人工智能模型已然成長為一個“巨無霸”,就目前來看,大型語言模型的參數(shù)量依然保持增長勢頭,你幾乎看不到低于1億參數(shù)量的AI模型。
當然,這并不代表小模型是沒有潛力或是不好的。相較于大型AI模型,小型模型的投入更低,落地更加簡單,能夠更快更好的解決現(xiàn)實問題。只不過,大模型的泛用性及其強大的性能代表了未來人工智能發(fā)展的方向,因此也就更加容易被我們注意到。
“大”和“強”的背后是更多的挑戰(zhàn)
然而,強悍的性能與巨大的規(guī)模背后則是無數(shù)的資本投入,這些日漸龐大的AI模型也為現(xiàn)有的AI基礎設施和開發(fā)流程帶來了更多的挑戰(zhàn)。
眾所周知,一個強大的AI模型從誕生到商業(yè)化落地,需要大量的數(shù)據(jù)投喂、精巧的算法優(yōu)化以及強大的算力支持。
現(xiàn)如今大模型的權(quán)重可達100GB以上,但我們的開發(fā)工具卻滯后于規(guī)模,使用起來十分費力,部署時往往要等上好幾小時,編譯時間長達兩分鐘,降低了AI工程師的工作效率,研發(fā)與迭代速度也會受到影響。
同時,訓練數(shù)據(jù)量也在以驚人的速度上漲,高質(zhì)量的數(shù)據(jù)往往能加快訓練速度,而糟糕的數(shù)據(jù)可能會讓算法的效用大大降低。根據(jù)Scale AI的《人工智能準備情況》調(diào)查發(fā)現(xiàn),數(shù)據(jù)質(zhì)量成為獲取訓練數(shù)據(jù)時面臨的最大挑戰(zhàn)。
而隨著逐漸變大的體量,其參數(shù)量和算力要求給整個團隊和工程環(huán)節(jié)帶來極大的壓力。
戴爾科技集團助力AI持續(xù)前行
算力、算法、數(shù)據(jù)作為人工智能的三大要素缺一不可,強大的基礎設施總是能夠讓您更好地把握成功的機遇。
戴爾科技集團作為全球領(lǐng)先的數(shù)字化解決方案供應商,在AI和HPC領(lǐng)域深耕多年,致力于將算力轉(zhuǎn)化為業(yè)務創(chuàng)新能力,以科技賦能各行各業(yè)。
戴爾PowerEdge XE8545擁有強大的GPU加速器優(yōu)化性能,專為高性能AI計算設計,使用業(yè)界領(lǐng)先的NVLink GPU直連設計,幫助您突破數(shù)據(jù)流和計算能力的界限,應對當下嚴苛的算力需求。
面向未來,戴爾科技集團用于AI的下一代PowerEdge產(chǎn)品組合也即將到來:PowerEdge XE9680、PowerEdge XE9640和PowerEdge XE8640,它們均為提供更高性能和更強大的計算結(jié)果而構(gòu)建,幫助企業(yè)從容應對未來AI發(fā)展。
目前,非結(jié)構(gòu)化數(shù)據(jù)用于AI的占比持續(xù)擴大,面對日益龐大且復雜的訓練數(shù)據(jù)量,高效的存儲系統(tǒng)對于工程師團隊的幫助則愈發(fā)顯著。在這方面,戴爾PowerScale橫向擴展NAS存儲能夠進一步消除I/O瓶頸,加快您的AI模型訓練和驗證速度,釋放非結(jié)構(gòu)化數(shù)據(jù)的價值。
無論是大模型的軍備競賽,還是小模型的實用為先,AI正在以前所未有的速度持續(xù)發(fā)展,每一次突破都將為行業(yè)帶來顛覆性的變革。
戴爾科技集團將以全面的解決方案,助力越來越多的AI落地,持續(xù)以科技推動人工智能行業(yè)的發(fā)展。
審核編輯 :李倩
-
人工智能
+關(guān)注
關(guān)注
1804文章
48717瀏覽量
246541 -
模型
+關(guān)注
關(guān)注
1文章
3487瀏覽量
49995 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1588瀏覽量
8801
原文標題:也想造個ChatGPT?看你的算力跟得上嗎?
文章出處:【微信號:戴爾企業(yè)級解決方案,微信公眾號:戴爾企業(yè)級解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
低代碼云MES、輕量級部署、讓智造更簡單
大算力芯片的生態(tài)突圍與算力革命
算力領(lǐng)域常用名詞解釋

【一文看懂】什么是端側(cè)算力?


算智算中心的算力如何衡量?

科技云報到:要算力更要“算利”,“精裝算力”觸發(fā)大模型產(chǎn)業(yè)新變局?
杰和課堂|帶你認識算力

算力基礎篇:從零開始了解算力

企業(yè)AI算力租賃是什么
GPU算力開發(fā)平臺是什么
淺析三大算力之異同

評論