據(jù)報道,硅谷晶圓芯片創(chuàng)企 Cerebras 近日公布了其 WSE-3 芯片型號,聲稱在保持相同能耗的基礎上,性能較前作 WSE-2 提升逾一倍。主要技術(shù)規(guī)格如下:
首先,WSE-3采用臺積電最新的5nm工藝制作(目前領先業(yè)界)。其次,該芯片擁有超過4萬億個晶體管以及90萬個AI核心,配合44GB片上SRAM高速緩存及三種可選片外存儲方案(分別是1.5TB、12TB與1.2PB)。此外,WSE-3還具備125 PFLOPS的AI運算能力。
Cerebras指出,新款CS-3系統(tǒng)基于WSE-3芯片設計,最高支持1.2PB的內(nèi)存容量,適于訓練比GPT-4及Gemini更大的未來模型。借助獨特的邏輯內(nèi)存空間技術(shù),能將24000T模型參數(shù)集中儲存,大幅減輕了開發(fā)者負擔。
尤為值得關注的是,CS-3強大的卓越的訓練性能使其成為滿足大規(guī)模AI需求的最佳選擇,甚至可以在單日內(nèi)完成70B模型的精煉。借助最大規(guī)模的2048套CS-3系統(tǒng)集群,僅僅一天便能夠完成長毛羊 70B 神經(jīng)網(wǎng)絡(Netrep Tempo)模型的深度學習。同時,CS-3系統(tǒng)在用戶友好性設計方面也表現(xiàn)出色,與GPU相比,大模型訓練中的編碼量降低高達97%,更多人可以輕松掌握超大規(guī)模AI處理技能。
值得一提的是,阿聯(lián)酋G42財團已經(jīng)表態(tài)將創(chuàng)建含64套 CS-3系統(tǒng)在內(nèi)的Condor Galaxy 3超級計算機,預計綜合AI運算能力可達8 exaFLOPs。
-
芯片
+關注
關注
459文章
52481瀏覽量
440581 -
臺積電
+關注
關注
44文章
5752瀏覽量
169740 -
sram
+關注
關注
6文章
785瀏覽量
115934 -
晶體管
+關注
關注
77文章
10018瀏覽量
141602
發(fā)布評論請先 登錄
偉創(chuàng)力高效電源模塊在超大規(guī)模數(shù)據(jù)中心的應用
超大規(guī)模芯片驗證:基于AMD VP1902的S8-100原型驗證系統(tǒng)實測性能翻倍

CMOS超大規(guī)模集成電路制造工藝流程的基礎知識

納微半導體推出12kW超大規(guī)模AI數(shù)據(jù)中心電源
AI原生架構(gòu)升級:RAKsmart服務器在超大規(guī)模模型訓練中的算力突破
谷歌新一代 TPU 芯片 Ironwood:助力大規(guī)模思考與推理的 AI 模型新引擎?
適用于數(shù)據(jù)中心和AI時代的800G網(wǎng)絡
DeepSeek推動AI算力需求:800G光模塊的關鍵作用
偉創(chuàng)力如何應對超大規(guī)模數(shù)據(jù)中心建設挑戰(zhàn)
晶科鑫SJK晶振在不同領域的應用
AI大模型的訓練數(shù)據(jù)來源分析
Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心
谷歌正在考慮在越南建設超大規(guī)模數(shù)據(jù)中心
超大規(guī)模集成電路(VLSI)中不可或缺的5種二極管

評論