1. 大模型時代,國產AI芯片最新進展!算力集群化是必然趨勢
原文:https://mp.weixin.qq.com/s/k-InpBMMJTUltuMcB2hKSg在剛過去的2023世界人工智能大會上,大模型可以說是其中的大亮點之一,華為盤古、商湯日日新、網易伏羲等30多款國產AI大模型集中亮相。與此同時,各類人工智能芯片公司、算力提供商也針對大模型展示了相應的方案。大模型時代,國產AI芯片進展如何?在這次大會上,瀚博半導體、燧原科技、登臨科技、天數智芯等紛紛展示了針對大模型的產品方案,呈現出國產AI芯片在大模型領域的進展情況。瀚博半導體成立于2018年12月,是一家自研GPU芯片及解決方案提供商。在此次大會上,瀚博發布了第二代GPU SG100,并推出南禺系列GPU加速卡VG1600、VG1800、VG14,以及LLM大模型AI加速卡VA1L、AIGC大模型一體機、VA12高性能生成式AI加速卡等6款新品。據介紹,瀚博SG100芯片采用7nm先進制程,具備業界領先的渲染性能,同時兼具低延時高吞吐的AI算力和強大的視頻處理能力。值得關注的,針對大模型時代算力需求,瀚博本次首發了LLM大模型AI加速卡VA1L,具備200 TOPS INT8/72 TFLOPS FP16算力,并支持ChatGPT、LLaMA、Stable Diffusion等主流AIGC網絡模型。與此同時,瀚博此次還推出了AIGC大模型一體機,共使用8張LLM大模型AI加速卡VA1L,支持512GB顯存,進而支持1750億參數的大模型。另外,作為瀚博VA1和VA10的升級版,VA12是一塊通用AI加速卡,支持檢測、分類、分割、視頻增強、語義理解、BERT、Transfomer和視頻編解碼等應用。燧原科技在此次大會上發布了燧原曜圖文生圖MaaS平臺服務產品。該產品以燧原科技“邃思”系列芯片為算力支撐,由首都在線提供計算服務,燧原曜圖MaaS平臺服務產品為用戶提供面向AIGC時代的高效易用、安全可靠、企業級的文生圖服務。燧原科技表示,它具備開箱即用可用、所想即所見、創意無限的文本生成圖像能力,通過軟硬一體方案降低大規模AIGC應用的工程難度與算力成本,開啟AIGC應用規模化落地時代。燧原科技創始人兼CEO趙立東在某論壇上提到,目前燧原已經為大型科研機構部署了千卡規模的AI訓練算力集群,并成功落地;而且與騰訊合作,在OCR文字識別、智能交互、智能會議等方面,性能達到了業界同類產品兩倍以上,性價比上具有很高優勢。此外,在智慧城市方面,燧原完成2022年成都高新區國產化AI視頻基礎設施平臺項目建設。此次大會上,登臨科技展示了最新一代創新通用GPU產品Goldwasser II系列以及基于開源大語言模型可交互界面。據了解,Goldwasser II針對基于Transformer和生成式AI 大模型進行專門優化,在性能有大幅提升,已于2022年流片,目前已開始規模化量產和商業客戶驗證。據現有客戶測試結果,二代產品針對基于transformer類型的模型提供3-5倍的性能提升,大幅降低類ChatGPT及生成式AI應用的硬件成本。天數智芯在此次會上也展示了在大模型訓練、推理所取得的顯著進展,包括圖片識別/以圖搜圖、3D建模、大模型推理等。在大模型領域,天數智芯今年上半年,搭建了40P算力320張天垓100加速卡算力集群,完成智源研究院70億參數大模型全量訓練,天垓100是天數智芯2018年研發的通用AI訓練芯片,據天數智芯董事長蓋魯江介紹,目前天垓100這款產品還已經成功跑通了清華智譜 AI 大模型ChatGLM,Meta研發的LLaMA模型。此外,天數智芯正在幫智源研究院跑650億參數的模型,預計10月份可以跑完。針對于A800芯片在無許可證的情況下將被禁售的話題,蓋魯江談到,事實上,不管英偉達的產品能不能賣給中國,我們的產品已經能夠用起來了。算力集群化是發展趨勢伴隨大模型帶來的生成式AI突破,人工智能正在進入一個新的時代。算力是人工智能產業創新的基礎,大模型的持續創新,驅動算力需求的爆炸式增長。可以說,大模型訓練的效率或者是創新的速度,根本上取決于算力的大小。然而,中國的算力已經成為一個越來越稀缺的資源。華為輪值董事長胡厚崑在某論壇上談到,大模型的研發高度依賴高端AI芯片、集群及生態。高計算性能、高通信帶寬和大顯存成為大模型訓練必不可少的算力底座,單AI芯片進步速度還未跟上大模型對大算力的需求,算力集群化成為不可逆轉的發展趨勢。在2023世界人工智能大會上,華為宣布昇騰AI集群全面升級,集群規模從最初的4000卡集群擴展至16000卡,擁有更快的訓練速度和30天以上的穩定訓練周期。胡厚崑表示,華為在各個單點創新的基礎上,充分發揮云、計算、存儲、網絡以及能源的綜合優勢,進行架構創新,推出了昇騰AI集群,相當于把AI算力中心當成一臺超級計算機來設計,使得昇騰AI集群性能更高,并且可靠性更高。據他介紹,昇騰AI集群目前已經可以達到10%以上的大模型訓練效率的提升,可以提供10倍以上的系統穩定的提高,支持長期穩定訓練。華為昇騰計算業務總裁張迪煊表示,基于昇騰AI,原生孵化和適配了30多個大模型,到目前為止,中國有一半左右的大模型創新,都是由昇騰AI來支持的。除了華為,阿里、騰訊等也打造了較大的算力集群,不過主要還是依靠英偉達的GPU芯片。阿里云表示,其擁有國內最強的智能算力儲備,智算集群可支持最大十萬卡GPU規模,承載多個萬億參數大模型同時在線訓練。騰訊云此前大量采購了英偉達A100/H800芯片,發布新一代HCC高性能計算集群,用于大模型訓練、自動駕駛、科學計算等領域。基于新一代集群,騰訊團隊在同等數據集下,將萬億參數的AI大模型混元NLP訓練由50天縮短到4天。小結無論是大模型的訓練,還是后期的推理部署,對算力的需求都相當大。雖然,當前國產AI芯片與國際領先GPU產品在大模型的訓練上有差距,不過可以看到,已經有不少產品,在較大模型的訓練上已經取得成績,后續必然還會有更大的進展。同時,為了滿足大模型對大算力的需求,算力集群化將會是未來趨勢。
2. 大模型加速涌向移動端!ControlNet手機出圖只需12秒,高通AI掌門人:LLaMA也只是時間問題
原文:https://mp.weixin.qq.com/s/je05z93KcAIT81NvoyFsuw大模型重塑一切的浪潮,正在加速涌向移動應用。不久前,高通剛在MWC上露了一手純靠手機跑Stable Diffusion,15秒就能出圖的騷操作: 3個月后的CVPR 2023上,參數加量到15億,ControlNet也已在手機端閃亮登場,出圖全程僅用了不到12秒:
更令人意想不到的速度是,高通技術公司產品管理高級副總裁兼AI負責人Ziad Asghar透露:從技術角度來說,把這些10億+參數大模型搬進手機,只需要不到一個月的時間。并且這還只是個開始。在與量子位的交流中,Ziad認為:
大模型正在迅速重塑人機交互的方式。這會讓移動應用的使用場景和使用方式發生翻天覆地的變化。“大模型改變終端交互方式”每一個看過《鋼鐵俠》的人,都很難不羨慕鋼鐵俠無所不能的助手賈維斯。
盡管語音助手早已不是什么新鮮事物,但其現如今的形態多少還是離科幻電影中的智能助手有點差距。而大模型,在Ziad看來,正是一個破局者。
大模型有能力真正重塑我們與應用交互的方式。這種改變的一種具體的表現,就是all in one。也就是說,通過大模型加持下的數字助手這一個應用入口,人們就可以在手機這樣的終端上操控一切:通過自然語言指令,數字助手能自動幫你管理所有手機上的APP,完成辦理銀行業務、撰寫電子郵件、制定旅程并訂票等等各種操作。
這樣一來,整個推理過程可以完全只靠手機實現——開著飛行模式不聯網也能做到。這類AI技術的部署并非易事,Ziad表示在相關軟件、工具和硬件方面,高通準備了2-3年的時間。但現在,當高通AI模型增效工具包、高通AI軟件棧和高通AI引擎等軟硬件工具齊備之后,正如前文所言,高通只花了不到一個月的時間,就實現了Stable Diffusion在驍龍平臺上的高速運行。也就是說,當基礎技術準備就緒,包括大模型在內的生成式AI部署,就會更加容易,原本無法想象的“大模型部署到終端變成數字助手”,現在看來也并非不可能。具體而言,在硬件上混合AI和軟件AI技術的“雙重”架構下,部署在手機等終端中的大模型,可以在終端側根據用戶習慣不斷優化和更新用戶畫像,從而增強和打造定制化的生成式AI提示。這些提示會以終端側為中心進行處理,只在必要時向云端分流任務。
Ziad也進一步向我們解釋說:
云不了解你,但終端設備了解你。如果模型可以在設備上進行微調,那它的功能將非常強大。這也是突破大模型幻覺和記憶瓶頸的方式之一。高通可以做到通過一系列技術讓大模型在不聯網的情況下,借助終端設備數據長時間提供“專屬”服務,同時也保護了用戶隱私。值得關注的是,Ziad還透露,在Stable Diffusion和ControlNet之外,基于高通全棧式的軟件和硬件能力,研究人員正在將更多生成式AI模型遷移到手機之中,參數量也正在向百億級別進發。
很快,你就會在終端上看到像LLaMA 7B/13B這樣的模型。一切工具已經就緒,剩下的只是時間問題。而且,雖然目前能在終端側部署的只是“特定”的大模型,但隨著技術的不斷應用成熟,能部署的大模型數量、模態類型和部署形式,都會飛速進化。Ziad表示:
隨著更多更好的AI算法被開源出來,我們也能更快地沿用這套軟硬件技術將它們部署到終端側,這其中就包括文生視頻等各種多模態AI。這樣來看,未來用戶將自己想用的大模型遷移到手機端,成為超級助手的核心,也并非不可能實現。大模型正在重塑移動互聯網實際上,手機上的交互變革,還只是冰山一角。早在生成式AI、大模型技術爆發之前,在移動互聯網時代,AI需求已經呈現出向邊緣設備轉移的趨勢。正如Ziad的觀點“終端側AI是AI的未來”一樣,隨著以大模型為代表的生成式AI浪潮加速改變人機交互方式,更多終端側如筆記本電腦、AR/VR、汽車和物聯網終端等,也都會因為這場變革迎來重塑,甚至反過來加速AI規模化落地。在這個過程中,不僅硬件會誕生新的衡量標準,軟件上以大模型為核心的超級AI應用,更是有可能出現。首先是硬件上,由于終端側算力會成為延展生成式AI落地應用不可或缺的一部分,對于移動端芯片本身來說,AI處理能力也會日益凸顯,甚至成為新的設計基準之一。隨著大模型變得更受歡迎、更多應用不斷接入其能力,更多潛在的用戶也會意識到大模型具備的優勢,從而導致這類技術使用次數的迅猛上升。但云端算力終究有限。Ziad認為:
隨著AI計算需求的增加,云端算力必然無法承載如此龐大的計算量,從而導致單次查詢成本急劇增加。要解決這一問題,就應當讓更多算力需求“外溢”到終端,依靠終端算力來緩解這一問題。為了讓更多大模型在終端就能處理甚至運行,從而降低調用成本,必然需要在確保用戶體驗的同時,提升移動端芯片處理AI的能力。長此以往,AI處理能力會成為衡量硬件能力的benchmark,如同過去手機芯片比拼通用算力和ISP影像能力一樣,成為整個移動端芯片的新“賽點”。等多的內容,如果感興趣,可以直接點擊原文,您會收獲更多的知識。
3. 英特爾AI芯片中國定制版發布!打的就是英偉達A100
原文:https://mp.weixin.qq.com/s/5njVFAcZnMP0rEb5VZcLhAAIGC時代,誰說煉大模型就一定得用GPU?英特至強CPU,運行擴散模型Stable Diffusion只需5秒就能出圖。而在這兩天,專門搭載在該CPU上使用的AI加速器更是新鮮出爐。它叫Gaudi2,面向中國市場發布,用于加速AI訓練及推理,有了它,大規模部署AI便多了一種新選擇。
性能上,它在MLPerf最新報告中的多種訓練和推理基準測試中都直接超越了英偉達A100,并提供了約2倍的性價比。至于H100,它雖然還不能敵過,但若拉上成本,則也能“扳回一局”。
這款主打超強性價比的AI加速器,究竟什么來頭?全新Gaudi2加速器,性能超A100Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B,以第一代Gaudi高性能架構為基礎,加速高性能大語言模型運行。(ps. Gaudi1代處理器誕生于2019年,其背后公司來自以色列,當年年底被英特爾以20億美元收購,如今成為英特爾“叫板”英偉達的重要底氣。)Gaudi2采用7nm制程工藝,具備24個可編程Tensor處理器核心(TPCs),支持面向AI的各類高級數據類型:FP8、BF16、FP16、TF32和FP32。它配備21個100 Gbps(RoCEv2)以太網接口,可通過直接路由實現Gaudi處理器間通信(相比原版少了3個,但英特爾公司執行副總裁Sandra Rivera介紹,這對整體性能影響基本不大)。同時,它還能做到2.4TB/秒的總內存帶寬,先進的HBM控制器則針對隨機訪問和線性訪問進行了優化,在各種訪問模式下都可以提供這一保證。此外,48MB片上SRAM和集成多媒體處理引擎亦是標配。
國內AI產品需求非常大,產品完全不夠用。因此市場就在那里,在這種情況下我們不用特別設什么份額的目標,就把最好的產品帶出來,滿足市場需求,幫助大家創新,這就是我們想要做的事情。而據量子位現場獲悉,明年,能夠進一步縮小差距甚至超越英偉達H100的Gaudi3就將問世。與此同時,2025年之時,英特爾還將整合既有的GPU Max產品線和Gaudi系列,取兩者之長,推出更加完整的下一代GPU產品。而在這之中,英特爾將對大家最為關心的可持續軟件生態做大筆投入。
4. 李飛飛「具身智能」新成果!機器人接入大模型直接聽懂人話,0預訓練就能完成復雜指令
原文:https://mp.weixin.qq.com/s/XleXS_5shzZNiOSxUFZfgQ李飛飛團隊具身智能最新成果來了:大模型接入機器人,把復雜指令轉化成具體行動規劃,無需額外數據和訓練。
打開上面的抽屜,小心花瓶!
大語言模型+視覺語言模型就能從3D空間中分析出目標和需要繞過的障礙,幫助機器人做行動規劃。
然后重點來了, 真實世界中的機器人在未經“培訓”的情況下,就能直接執行這個任務。
新方法實現了零樣本的日常操作任務軌跡合成,也就是機器人從沒見過的任務也能一次執行,連給他做個示范都不需要。可操作的物體也是開放的,不用事先劃定范圍,開瓶子、按開關、拔充電線都能完成。目前項目主頁和論文都已上線,代碼即將推出,并且已經引起學術界廣泛興趣。
- 具身智能(Embodied AI)
- 視覺推理(Visual Reasoning)
- 場景理解(Scene Understanding)
5. 國產7nm全功能GPU上海發布!還有大模型加速卡、AIGC大模型一體機等6款新品
原文:https://mp.weixin.qq.com/s/MhFOeWOowpk_j0CB9zcFQQ7月6日下午,瀚博半導體在2023世界人工智能大會上正式發布第二代GPU SG 100。一并推出的還有南禺系列GPU加速卡 VG1600、VG1800、VG14以及LLM大模型AI加速卡VA1L、AIGC大模型一體機、VA12高性能生成式AI加速卡等6款新品,為AI大模型、圖形渲染和高質量內容生產提供完整解決方案。本次發布會以“智渲同芯,共生未來”為主題,瀚博半導體創始人兼CTO張磊在發布會上發表了《從像素到杰作:***加速AI大模型和元宇宙》主題演講,吸引眾多行業伙伴、知名媒體以及投資機構到場。張磊以AGI時代的算力需求與挑戰為引,全面展示了瀚博針對人工智能與元宇宙行業的最新產品研發成果,此次瀚博半導體新品發布會賦能大模型創新應用,聯合上下游企業共同打造國產大模型生態圈,以全新姿態把握時代機遇,開啟人工智能+元宇宙的瀚博算力序章。
與此同時,瀚博更重磅推出AIGC大模型一體機,共使用8張LLM大模型AI加速卡VA1L,支持512GB顯存,進而支持1750億參數的大模型。本次大模型一體機解決方案擁有業內最低門檻,也是目前針對AI大語言模型最低價格的大模型一體機方案。此外,新品還提供兩個特殊選配:具有對話功能的2卡單獨運行語音轉文字或者文字轉語音版本以及使用SG 100做云端實時渲染的2U 11卡版本,提供大模型會話數字人實時渲染,使大模型推理更高效,服務于大模型行業發展。
6. 人工智能在日常生活中的十大應用
原文:https://mp.weixin.qq.com/s/HqVbMOBwpIaHt1eQz3C2Cg7月6日下午,瀚博半導體在2023世界人工智能大會上正式發布第二代GPU SG 100。一并推出的還有南禺系列GPU加速卡 VG1600、VG1800、VG14以及LLM大模型AI加速卡VA1L、AIGC大模型一體機、VA12高性能生成式AI加速卡等6款新品,為AI大模型、圖形渲染和高質量內容生產提供完整解決方案。本次發布會以“智渲同芯,共生未來”為主題,瀚博半導體創始人兼CTO張磊在發布會上發表了《從像素到杰作:***加速AI大模型和元宇宙》主題演講,吸引眾多行業伙伴、知名媒體以及投資機構到場。
今年,人工智能在公眾使用方面取得了驚人的新進展。一張人工智能生成的圖像甚至在與人類藝術家競爭時獲得了藝術獎(https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html)。事實是,人工智能就在我們身邊。它被用來幫助篩查癌癥,打擊偷獵瀕危大象的行為,并能夠從太空探測考古遺址。但人工智能并不局限于科學前沿。事實上,人工智能無處不在。你可能在日常生活中也使用人工智能。“人工智能技術滲透到了我們生活的方方面面,這幾乎是潛移默化的,”IEEE高級會員Guangjie Han說,“它為我們的設備提供動力,同時通過分析我們在這些設備上產生的數據而不斷進行改進。”人工智能在日常生活中的常見用途包括:1. 智能助理:智能手機或智能家居設備上的語音助手由人工智能支持。有時,請求可以在手機上處理。有時請求會被發送到云服務器進行處理。2. 智能家居設備:通過人工智能,智能恒溫器可以自動調整家中的暖通空調系統,而攝像頭可以提醒消費者有人、車或包裹到達。3. 電子商務:人工智能在網上購物中無處不在。值得注意的應用程序擴展包括了產品建議,可以幫助管理銷售和退貨的聊天機器人,以及定制的購物體驗。4. 零售業的趨勢識別:在線商店不僅僅是在你購物時提供推薦,他們還積極使用商店和競爭對手的銷售數據來識別趨勢。通過使用人工智能進行設計和制造,以便滿足公眾的需求。5. 內容推薦:人工智能支持的內容推薦引擎使用產品目錄和消費者數據進行培訓,以提供更個性化的推薦。6. 導航和旅行:紙質地圖已經成為過去。人工智能生成的路線可以優化旅行時間或減少油耗。7. 藥物研究:通過識別其潛在危險和作用機制,人工智能系統能夠幫助尋找新的藥物應用。這項技術幫助建立了幾個藥物發現平臺,使企業能夠重復使用當前的藥物和生物活性物質進行研究。8. 面部識別解鎖手機:看向手機即可解鎖。這些功能得到了人工智能的支持,它利用相機和傳感器技術來準確測量你的面部。9. 金融欺詐檢測:人工智能非常擅長模式分析,事實證明,我們大多數人使用信用卡的方式相當可預測。這使得它非常適合確定哪些信用卡交易可能是非法的。如果你曾經接到銀行的電話,詢問你是否進行了交易,那很可能是人工智能算法的結果。10. 自動更正:人工智能系統使用機器學習、深度學習和自然語言處理來識別文字處理器、短信應用程序和其他文本媒體中的錯誤語言使用,并提供更正和建議。在可預見的未來,人工智能系統的大部分工作將集中在構建更大、更少偏見的數據集上,用于訓練模型。“這些系統的訓練在很大程度上取決于人工智能模型訓練的數據,”IEEE會士(Fellow)Karen Panetta說,“它可以體驗的場景越多,效果就越好,但這需要精心策劃、注釋的數據集。這些數據集必須多樣化,以減少偏差,并動態更新,以反映新的條件和現實世界應用中出現的場景。”同時,這也在提醒人們,在某些改變生活的環境中不要過度依賴人工智能系統。Panetta說:“人工智能需要被解釋。例如,許多公司正在銷售評估人們表現并確定薪酬的產品。然而,這些系統做出的決定無法解釋人工智能是如何決定結果的。人工智能不應該影響某人的生計。”盡管人工智能盛行,但它仍有很大的發展和改進空間。
———————End———————
RT-Thread線下入門培訓
7月 - 南京
1.免費2.動手實驗+理論3.主辦方免費提供開發板4.自行攜帶電腦,及插線板用于筆記本電腦充電5.參與者需要有C語言、單片機(ARM Cortex-M核)基礎,請提前安裝好RT-Thread Studio 開發環境
報名通道
立即掃碼報名
(報名成功即可參加)
點擊閱讀原文進入官網
原文標題:【AI簡報20230714期】人工智能在日常生活中的應用,國產AI芯片最新進展公布!
文章出處:【微信公眾號:RTThread物聯網操作系統】歡迎添加關注!文章轉載請注明出處。
-
RT-Thread
+關注
關注
32文章
1368瀏覽量
41490
原文標題:【AI簡報20230714期】人工智能在日常生活中的應用,國產AI芯片最新進展公布!
文章出處:【微信號:RTThread,微信公眾號:RTThread物聯網操作系統】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
評論