電子發燒友網(文/莫婷婷)生成式AI(AIGC)成為行業關注重點,例如Open AI推出的ChatGPT。就在近期Open AI將其升級為ChatGPT4,支持圖片的輸入和分析、更強的推理能力、更加復雜的指令,并更加具有創造性。ChatGPT的出現引發AI行業的新一輪技術升級,特別是針對算力需求相關的技術。
回顧算力的發展歷程,深度計算在十年的發展過程中已經從AI1.0進入AI2.0階段。AI正從解析式到生成式,并且應用場景爆發,墨芯人工智能創始人兼CEO王維在公開演講時表示,“生成式給大家打開了應用的想象空間和大門,商業化不再是唯一擔心重點,更需要擔心的是如何能夠趕上潮流的速度。”
如果將AI時代劃分,AI 1. 0時代是小模型時代,那么AI2. 0時代就是以Transformer為基礎的大模型時代,此時算力出現了根本性的變化,而且是挑戰性的變化,王維指出這種挑戰性體現在算力增長和推理速度上。
AI 1.0時代針對細分應用場景訓練小模型,研發和部署的周期較短,可能是以周、月為單位進行部署,對算力的需求更多是通用性和易用性。成本、功耗在大部分的應用場景不是“痛點”,只是“癢點”。
到了AI2.0時代,Transformer模型參數每兩年增長達到275倍,并且還會持續增長,算力需求平均每3.5個月翻一倍,對算力的需求是拓展性,會更加關注算力能不能跟上需求的速度,從而實現更大規模的拓展模型,用更先進、更聰明的方法訓練出更厲害的預訓練模型。
王維認為,Transformer模型需要在訓練方面上找到更聰明的方法,使得它在生成式上實現臨界點的突破。而強調軟硬件協同設計的AI芯片,稀疏計算被認為最具有發展潛力,也是學術和行業巨頭都在研究方向。
資料顯示,稀疏性計算是指剔除計算中不必要、沒用的計算,通過降低不必要的存儲和計算,加快計算速度、提升部署性能。更聰明的計算,只計算真正有用的元素,正是稀疏化計算的本質。
就在2022年,墨芯人工智能宣布發布第一代芯片英騰處理器ANTOUM,官方表示通過多的剪枝和壓縮計算,該產品以32倍稀疏率打破業界紀錄,將市場現有產品的稀疏倍率提升16倍。作為稀疏化計算領域的國內廠商,墨芯人工智能的產品和稀疏化計算在AIGC的火爆下獲得更多關注。
圖源:墨芯人工智能
基于ANTOUM芯片,墨芯人工智能推出了S4、S10和S30計算卡,拉開了稀疏計算與稠密計算較量的序幕。在2022年9月,官方宣布12nm的S30計算卡以14000FPS的算力,打敗英偉達4nm的H100,成為ResNet-50模型算力全球第一。此外,墨芯S4、S30功耗僅為主流GPU的18%、53%。
在當下的行業需求下,稀疏計算的技術優勢被進一步放大,也成為國產AI芯片廠商能夠在一個更高的維度上和國際霸主進行競爭和挑戰的機會。在國內市場,隨著AIGC實現商業模式變革,墨芯人工智能等國產算力芯片廠商將有機會獲得更大的成長空間。
-
AIGC
+關注
關注
1文章
383瀏覽量
2215
發布評論請先 登錄
評論