女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

搭建萬(wàn)卡GPU集群,小米AI大模型即將全力啟動(dòng)

Simon觀察 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:黃山明 ? 2024-12-29 00:02 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/黃山明)近日,有媒體報(bào)道,小米正在著手搭建自家的GPU萬(wàn)卡集群,將對(duì)AI大模型加大投入。該計(jì)劃已進(jìn)行數(shù)月,據(jù)悉小米大模型團(tuán)隊(duì)在成立之初便已擁有6500張GPU資源,小米創(chuàng)始人兼董事長(zhǎng)雷軍在該團(tuán)隊(duì)扮演重要的領(lǐng)導(dǎo)角色。

高性能計(jì)算是大模型發(fā)展的基礎(chǔ),而GPU在其中扮演重要作用。隨著AI在如今社會(huì)中發(fā)揮著越來(lái)越重要的作用,應(yīng)用領(lǐng)域不斷擴(kuò)展,需要的計(jì)算資源也越來(lái)越多,因此對(duì)于GPU的需求也在不斷上升。

小米搭建萬(wàn)卡GPU集群,加大AI大模型投入

如今我們生活中已經(jīng)有不少領(lǐng)域開(kāi)始充斥著AI的身影,包括AI配音、AI影像、AI圖片、AI導(dǎo)航,以及不少人正在使用的免費(fèi)AI大模型等。但相比ChatGPT、豆包、Kimi、通義千問(wèn)等知名度不小的大模型,小米的MiLM顯得相對(duì)低調(diào)。

這是一款在今年5月份才正式通過(guò)大模型備案的小米大預(yù)言模型,小米宣布將把相關(guān)模型逐步應(yīng)用于小米汽車、手機(jī)智能家居等產(chǎn)品中,后續(xù)“將面向更多用戶開(kāi)放體驗(yàn)”。

而到了近期,市場(chǎng)更是傳出小米準(zhǔn)備搭建GPU萬(wàn)卡集群,決心加大對(duì)AI的投入。但搭建GPU的萬(wàn)卡集群并不容易,一方面在于昂貴的成本。訓(xùn)練AI大模型通常需要使用高性能的GPU芯片,如英偉達(dá)的A100、H100等。

這些高端芯片的單價(jià)本身就非常高,A100芯片價(jià)格約9萬(wàn)元一張,H100閹割后的HGX H20渠道價(jià)格約11萬(wàn)一張,而萬(wàn)卡集群需要至少一萬(wàn)張以上的GPU卡,僅芯片采購(gòu)成本就可能達(dá)到數(shù)十億元。

并且除了GPU芯片本身,構(gòu)建萬(wàn)卡集群還需要大量的配套硬件設(shè)備,如服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等。這些設(shè)備的采購(gòu)和安裝成本也相當(dāng)恐怖,進(jìn)一步增加了總體投入。

而之所以需要GPU萬(wàn)卡集群,是因?yàn)锳I大模型通常包含數(shù)十億乃至數(shù)萬(wàn)億的參數(shù),例如GPT-3就有1750億個(gè)參數(shù),訓(xùn)練和推理過(guò)程中需要進(jìn)行海量的矩陣運(yùn)算和復(fù)雜的數(shù)學(xué)計(jì)算。如此大規(guī)模的計(jì)算任務(wù),單張GPU的計(jì)算能力遠(yuǎn)遠(yuǎn)無(wú)法滿足,需要借助GPU萬(wàn)卡集群并行計(jì)算來(lái)加速。

當(dāng)然,這些技術(shù)的出現(xiàn),其實(shí)并非突然,而是早有布局。小米早在2016年便開(kāi)始組建第一只視覺(jué)AI團(tuán)隊(duì),逐步建立了視覺(jué)、語(yǔ)音、聲學(xué)、知識(shí)圖譜、NLP、機(jī)器學(xué)習(xí)、多模態(tài)等AI技術(shù)能力。

到2017年,小米正式發(fā)布了智能語(yǔ)音助手“小愛(ài)同學(xué)”。盡管當(dāng)時(shí)的AI技術(shù)和現(xiàn)在相比可能顯得較為基礎(chǔ),但小愛(ài)同學(xué)已經(jīng)運(yùn)用了語(yǔ)音識(shí)別、NLP、機(jī)器學(xué)習(xí)等核心技術(shù)來(lái)實(shí)現(xiàn)人機(jī)交互。

去年4月份,小米成立AI實(shí)驗(yàn)室大模型團(tuán)隊(duì),初始團(tuán)隊(duì)便擁有6500張GPU資源。并認(rèn)為欒劍擔(dān)任該團(tuán)隊(duì)的負(fù)責(zé)人,欒劍此前曾任東芝(中國(guó))研究院研究員、微軟(中國(guó))工程院高級(jí)語(yǔ)音科學(xué)家、微軟小冰首席語(yǔ)音科學(xué)家及語(yǔ)音團(tuán)隊(duì)負(fù)責(zé)人等職位。

并且在近期,有消息稱DeepSeek開(kāi)源大模型DeepSeek-V2的關(guān)鍵開(kāi)發(fā)者之一羅福莉?qū)⒓尤胄∶祝型M(jìn)一步加強(qiáng)小米AI大模型團(tuán)隊(duì)實(shí)力。

端側(cè)擁抱AI已成共識(shí),小米具備重大優(yōu)勢(shì)

國(guó)內(nèi)目前已經(jīng)有多家企業(yè)開(kāi)展了萬(wàn)卡集群的建設(shè),例如華為昇騰、科大訊飛、中國(guó)電信、中國(guó)移動(dòng)等,其中中國(guó)電信在上海、北京兩個(gè)萬(wàn)卡集群已經(jīng)投產(chǎn),而中國(guó)移動(dòng)位于呼和浩特、哈爾濱兩大萬(wàn)卡級(jí)別的智算中心也已經(jīng)先后投產(chǎn)運(yùn)行。

更別說(shuō)百度等公司已經(jīng)在探討構(gòu)建十萬(wàn)卡集群,有業(yè)內(nèi)人士認(rèn)為,市場(chǎng)中很快便會(huì)有更多的十萬(wàn)卡集群出現(xiàn)。

另一方面,海外則更加激進(jìn)。例如由馬斯克旗下xAI公司打造的xAI Colossus 超級(jí)AI集群,擁有10萬(wàn)個(gè)英偉達(dá)H100 GPU。其第一階段建設(shè)已完成并全面上線,未來(lái)計(jì)劃增加5萬(wàn)張H100 GPU和5萬(wàn)張下一代H200 GPU,屆時(shí)GPU總數(shù)將翻倍。

OpenAI正在設(shè)計(jì)能夠?qū)?000萬(wàn)塊GPU連在一起的計(jì)算模型,Meta CEO扎克伯格曾在年初宣布,計(jì)劃購(gòu)買(mǎi)35萬(wàn)塊英偉達(dá)H100 GPU,將Meta的算力擴(kuò)展到相當(dāng)于60萬(wàn)塊英偉達(dá)H100 GPU的水平。

與此同時(shí),越來(lái)越多的企業(yè)開(kāi)始更為注重AI,包括理想汽車創(chuàng)始人李想此前公開(kāi)表示,理想汽車不僅是一家汽車制造企業(yè),更是一家AI企業(yè)。

加上如今的AI手機(jī)、AI手表、AIPC甚至智能汽車等,這些端側(cè)產(chǎn)品均在積極擁抱AI,AI的加入也為這些產(chǎn)品帶來(lái)了更多的差異化與個(gè)性化,甚至有望成為未來(lái)產(chǎn)品體驗(yàn)差異的分水嶺。

而相比其他企業(yè),小米擁有一項(xiàng)重大的優(yōu)勢(shì),其AI大模型可以與自身的“人車家”戰(zhàn)略完美契合,甚至可以說(shuō)AI大模型的加入,讓小米“人車家”全生態(tài)完成了最后一項(xiàng)閉環(huán)。

從手機(jī)到智能家居,再到新能源汽車,小米均有涉獵,并且大多已經(jīng)成為行業(yè)中的主要參與者,例如小米為全球第三大手機(jī)廠商,米家更是全球最大的智能家居平臺(tái),其中小愛(ài)音箱以超過(guò)40%的市場(chǎng)份額穩(wěn)居中國(guó)智能音箱榜首。

小米汽車更是后來(lái)居上,不僅屢屢出圈,自今年3月份發(fā)布以來(lái),有望在今年內(nèi)實(shí)現(xiàn)超過(guò)13萬(wàn)輛的交付成績(jī),為小米集團(tuán)貢獻(xiàn)近百億元的營(yíng)收。同時(shí)小米汽車更是小米集團(tuán)獨(dú)資控股,保證了小米汽車能夠貫徹未來(lái)小米集團(tuán)的發(fā)展方向。

另一方面,雷軍不僅是小米的創(chuàng)始人,如今依然是金山軟件的董事長(zhǎng),意味著未來(lái)小米AI大模型有望在WPS等辦公軟件中布局。

從硬件端的互聯(lián)網(wǎng)入口,到辦公軟件、游戲等領(lǐng)域,都已經(jīng)為小米的MiLM大模型預(yù)留足夠的發(fā)展空間,這是許多AI大模型企業(yè)沒(méi)有的巨大優(yōu)勢(shì)。不僅保障了未來(lái)小米AI大模型的迭代升級(jí),同時(shí)也解決了其數(shù)據(jù)歸屬問(wèn)題,進(jìn)一步加速AI大模型的升級(jí)。

總結(jié)

從小米過(guò)往布局新賽道的步伐來(lái)看,通常是確定了某個(gè)賽道已經(jīng)得到市場(chǎng)驗(yàn)證,并相對(duì)成熟再?zèng)Q定進(jìn)入。進(jìn)入賽道后,再利用小米集團(tuán)的自身優(yōu)勢(shì),迅速做大做強(qiáng)。如今小米采用萬(wàn)卡集群,加大投入到AI大模型領(lǐng)域,意味著不久后便有望看到該模型的普及。也期待未來(lái)市場(chǎng)中小米AI大模型的表現(xiàn)。
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4943

    瀏覽量

    131210
  • 小米
    +關(guān)注

    關(guān)注

    70

    文章

    14471

    瀏覽量

    147265
  • AI大模型
    +關(guān)注

    關(guān)注

    0

    文章

    374

    瀏覽量

    611
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    弘信電子旗下燧弘華創(chuàng)加入萬(wàn)智算集群服務(wù)推進(jìn)方陣

    近日,中國(guó)信息通信研究院在北京召開(kāi)萬(wàn)智算集群服務(wù)推進(jìn)方陣(ICCPA)年中總結(jié)交流會(huì)。會(huì)上為第二批成員單位辦法證書(shū),發(fā)布一系列產(chǎn)業(yè)研究成果,并通過(guò)深度交流研討,凝聚產(chǎn)業(yè)共識(shí),規(guī)范產(chǎn)品建設(shè)體系,
    的頭像 發(fā)表于 07-03 15:43 ?280次閱讀

    智算加速是什么東西?它真能在AI戰(zhàn)場(chǎng)上干掉GPU和TPU!

    隨著AI技術(shù)火得一塌糊涂,大家都在談"大模型"、"AI加速"、"智能計(jì)算",可真到了落地環(huán)節(jié),算力才是硬通貨。你有沒(méi)有發(fā)現(xiàn),現(xiàn)在越來(lái)越多的AI企業(yè)不光用
    的頭像 發(fā)表于 06-05 13:39 ?557次閱讀
    智算加速<b class='flag-5'>卡</b>是什么東西?它真能在<b class='flag-5'>AI</b>戰(zhàn)場(chǎng)上干掉<b class='flag-5'>GPU</b>和TPU!

    算力破局:科通技術(shù)以&quot;AI模型+AI芯片&quot;重構(gòu)智算底座

    “科通技術(shù)”)推出的“DeepSeek+AI芯片”全場(chǎng)景方案,在云AI領(lǐng)域取得重大突破。除了GPU的算力總量,云AI的一大挑戰(zhàn)來(lái)源于GPU
    的頭像 發(fā)表于 03-17 11:14 ?435次閱讀

    百度智能云發(fā)布昆侖芯三代萬(wàn)集群及DeepSeek-R1/V3上線

    01百度智能云點(diǎn)亮昆侖芯三代萬(wàn)集群 近日,百度智能云成功點(diǎn)亮昆侖芯三代萬(wàn)集群,這也是國(guó)內(nèi)首個(gè)
    的頭像 發(fā)表于 02-11 10:58 ?674次閱讀

    百度成功點(diǎn)亮國(guó)內(nèi)首個(gè)昆侖芯三代萬(wàn)集群

    近日,百度智能云宣布了一項(xiàng)重大技術(shù)突破:成功點(diǎn)亮了國(guó)內(nèi)首個(gè)自研的昆侖芯三代萬(wàn)集群。這一里程碑式的成就標(biāo)志著百度在AI芯片領(lǐng)域取得了顯著進(jìn)展。
    的頭像 發(fā)表于 02-06 17:52 ?1071次閱讀

    昆侖芯P800萬(wàn)集群成功點(diǎn)亮,將進(jìn)一步點(diǎn)亮3萬(wàn)集群

    的。而24年9月升級(jí)的百度百舸AI異構(gòu)計(jì)算平臺(tái)4.0,圍繞落地大模型全旅程的算力需求,在集群創(chuàng)建、開(kāi)發(fā)實(shí)驗(yàn)、模型訓(xùn)練、模型推理四大方面,能為
    發(fā)表于 02-05 17:58 ?508次閱讀
    昆侖芯P800<b class='flag-5'>萬(wàn)</b><b class='flag-5'>卡</b><b class='flag-5'>集群</b>成功點(diǎn)亮,將進(jìn)一步點(diǎn)亮3<b class='flag-5'>萬(wàn)</b><b class='flag-5'>卡</b><b class='flag-5'>集群</b>

    百度智能云點(diǎn)亮昆侖芯三代萬(wàn)集群

    的人工智能算力需求。 昆侖芯三代作為百度自研的AI芯片,其性能卓越,能夠滿足復(fù)雜的人工智能任務(wù)需求。此次萬(wàn)集群的成功點(diǎn)亮,不僅展示了百度在AI
    的頭像 發(fā)表于 02-05 14:58 ?638次閱讀

    雷軍千萬(wàn)年薪挖角95后AI天才少女 DeepSeek開(kāi)源大模型DeepSeek-V2關(guān)鍵開(kāi)發(fā)者之一羅福莉

    就讀于北京師范大學(xué)計(jì)算機(jī)專業(yè),碩士畢業(yè)于北京大學(xué)計(jì)算語(yǔ)言學(xué)專業(yè)。畢業(yè)后羅福莉先進(jìn)入阿里達(dá)摩院做人工智能研究,從事預(yù)訓(xùn)練語(yǔ)言模型相關(guān)的工作,后來(lái)加入DeepSeek研發(fā)MoE大模型DeepSeek-V2。 近期小米正積極發(fā)力
    的頭像 發(fā)表于 12-30 10:58 ?1407次閱讀

    小米加速布局AI模型搭建GPU萬(wàn)集群

    近日,有消息稱小米正在緊鑼密鼓地搭建自己的GPU萬(wàn)集群,旨在加大對(duì)
    的頭像 發(fā)表于 12-28 14:25 ?517次閱讀

    GPU是如何訓(xùn)練AI模型

    AI模型的訓(xùn)練過(guò)程中,大量的計(jì)算工作集中在矩陣乘法、向量加法和激活函數(shù)等運(yùn)算上。這些運(yùn)算正是GPU所擅長(zhǎng)的。接下來(lái),AI部落小編帶您了解GPU
    的頭像 發(fā)表于 12-19 17:54 ?740次閱讀

    Meta萬(wàn)GPU集群穩(wěn)定性剖析與最佳實(shí)踐

    一、背景 本文中我們將具體介紹 Meta 對(duì)其萬(wàn) AI 集群穩(wěn)定性的剖析和刻畫(huà),以及在其中遇到的各種挑戰(zhàn),并在其中補(bǔ)充了一些真實(shí)場(chǎng)景中遇到的 Case,便于理解。 對(duì)應(yīng)的論文為
    的頭像 發(fā)表于 12-17 09:51 ?2141次閱讀
    Meta<b class='flag-5'>萬(wàn)</b><b class='flag-5'>卡</b><b class='flag-5'>GPU</b><b class='flag-5'>集群</b>穩(wěn)定性剖析與最佳實(shí)踐

    GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

    眾所周知,在大型模型訓(xùn)練中,通常采用每臺(tái)服務(wù)器配備多個(gè)GPU集群架構(gòu)。在上一篇文章《高性能GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)(上篇)》中,我們對(duì)
    的頭像 發(fā)表于 11-05 16:20 ?1229次閱讀
    <b class='flag-5'>GPU</b>服務(wù)器<b class='flag-5'>AI</b>網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

    NVIDIA Colossus超級(jí)計(jì)算機(jī)集群突破10萬(wàn)顆Hopper GPU

    NVIDIA近日宣布,其位于田納西州孟菲斯市的xAI Colossus超級(jí)計(jì)算機(jī)集群規(guī)模已壯大至10萬(wàn)顆NVIDIA Hopper GPU。這一里程碑式的成就,再次彰顯了NVIDIA在AI
    的頭像 發(fā)表于 10-30 10:29 ?630次閱讀

    為什么ai模型訓(xùn)練要用gpu

    GPU憑借其強(qiáng)大的并行處理能力和高效的內(nèi)存系統(tǒng),已成為AI模型訓(xùn)練不可或缺的重要工具。
    的頭像 發(fā)表于 10-24 09:39 ?959次閱讀

    【「大模型時(shí)代的基礎(chǔ)架構(gòu)」閱讀體驗(yàn)】+ 未知領(lǐng)域的感受

    ”,好奇于這種大模型算力中心到底是如何建設(shè)的,用什么設(shè)備、什么架構(gòu)建設(shè)的?對(duì)這些問(wèn)題真是一無(wú)所知,甚至都沒(méi)有想過(guò),帶著這份好奇開(kāi)始閱讀。 先瀏覽目錄,共分十三章,目錄中出現(xiàn)最多的就是GPU,比如機(jī)器學(xué)習(xí)
    發(fā)表于 10-08 10:40