電子發燒友網報道（文/莫婷婷）AI大模型應用在2024年進入新的階段。Transformer等技術正在推動著行業從單一模態的大語言模型，向多模態大模型進化。

業內普遍認為，未來3到5年我們會快速邁入AI3.0時代，屆時進入以機器人為代表的具身智能時代，當人形機器人搭載了多模態大模型，和物理世界進行交互后，就會發展成行為大模型，成為自進化智能體，進一步實現AGI通用人工智能，由此打開第四次工業革命的大門。

云天勵飛董事長兼CEO陳寧認為，未來3年全球80%的企業將使用大模型，未來5年機器人和數字人的數量將超越人類的數量，未來7年，也就是到2030年行業將實現通用人工智能，AI的智慧程度超越全人類大腦的組合。

他進一步提到，我們還有3年的時間可以轉型到大模型時代，借助大模型生產力的變革去賦能企業。那么，企業如何擁有屬于自己的大模型，訓推一體機成為焦點之一。

千元級AI模盒，大模型進入平民化階段

目前，行業內已經有多家企業推出訓推一體機，但是在訓練專屬大模型過程中，訓推一體機的痛點也隨之暴露出來。成本是其中一個關鍵問題，主流的訓推一體機價格普遍在百萬級。另外還有大參數、大算力、大數據、專業人才等，要知道GPT-4模型訓練數據ToKen量已經達到130000億。為了加速AI普惠化，訓推一體機亟需迭代。

就在今年3月，云天勵飛推出“深目”AI模盒，面向邊緣訓推場景。官方介紹，“深目”AI模盒搭載了自研的14nm Chiplet大模型邊緣訓推芯片DeepEdge10 Max、自研多模態大模型“云天天書”，基于云天勵飛的核心能力算法芯片化，實現了算法場景覆蓋超過90%、算法精度超過90%，使用成本降低90%。其中，DeepEdge10 Max適配并可承載10億級SAM、百億級Llama2等大模型運算。

值得一提的是，“深目”AI模盒售價在千元級。可以說，在一定程度上，云天勵飛將訓推一體機“打下”千元級，促進了大模型平民化，解決大模型在場景落地最后一公里的問題，幫助更多中小企業客戶輕松使用大模型。

智慧城市場景里還存在非常多的問題沒有完全解決，例如長尾場景，只有一個模型能夠解決跨場景的問題，才有可能低成本解決智慧城市的碎片化問題。

在現實問題中，天災人禍等極端場景識別訓練的數據幾乎空白，云天勵飛副總裁羅憶以加油站場景的吸煙識別為例進行介紹，平臺能夠利用大模型能力，以加油站為背景，生成在該環境抽煙行為的人物，并將數據用于算法訓練中，填補訓練數據的空白。

“我們通過可控的生成，對于指定的場景、部位可以做到細節可控、真實合理、高保真，而且可以批量生成數據。”目前，云天勵飛已經生成了千萬級的數據用于各類算法的訓練，而且生成的數據不僅能夠用于算法的訓練，還能用于算法能力的測試。

“從生成訓練到檢測，這個閉環打通，也為將來它的自學習奠定基礎。”羅憶再次表示。使用AI合成數據來訓練算法，逐漸成為大模型時代下訓練新算法和提升算法精度的方式之一。

推理芯片將是AI大模型的發展關鍵之一

未來，AI大模型的發展一定是降低推理成本，陳寧在接受電子發燒友網等媒體采訪時表示，關于大模型的訓練，業內的重視度已經比較高了，GPU一卡難求，中國也掀起了智算，上下游的企業都參與到智能算力的建設過程中，云天勵飛也抓住了機遇。“我們認為2024年如果是大模型落地應用之年，推理就會越來越重要。”

云天勵飛自成立之初就將AI芯片定位在推理的應用，此次將其在推理領域的深厚技術積累賦能給了“深目”。

“深目”內置了自研的SPACE訓練推理引擎，羅憶表示，“我們要讓大模型在邊緣側跑起來，不僅要推理，還要具備一定的訓練能力，要提高它的精度，首先要解決速度的問題，確保訓練有效的前提下，只要進行少樣本的訓練，即可進行場景自適應。”

根據介紹，基于SPACE訓練推理引擎的高效訓練架構，對比全量訓練，“深目”AI模盒訓練速度提升100倍，內存消耗降低20倍。通過混合精度訓練，模型99%的計算采用int8+fP16精度訓練，只有不到1%的計算才用得fp32精度訓練。而且做到了存儲及功耗均大幅下降，推理速度同比提升50%，推理成本更是降低10倍。

通過SPACE訓練推理引擎和神經網絡處理器芯片架構的深度耦合，“深目”在邊緣端48T至64T的有限算力情況下，一樣可以實現高精度的推理大模型，并且可以微調和訓練。陳寧表示，面向邊緣場景，云天勵飛強化了多模態大模型場景泛化和在線學習、訓練的能力，通過一系列的性能提升，解決場景價值閉環的問題。

一般來說，AI芯片可以分為兩種：推理芯片、訓練芯片。“但是算法的訓練不是目的，千行百業的推理應用才是最終目的，人形機器人、無人機、無人車、可穿戴設備、AIPC、AI手機等，萬物智聯的智能硬件都需要一顆或者幾顆神經網絡處理器的推理芯片”，陳寧表示。

2024年，AI行業在推理芯片領域迎來了新的進展。例如，AI芯片創企Groq自研的新型AI芯片——LPU（Language Processing Units）在AI行業內“出圈”，該芯片專為AI推理而生。公開資料顯示，由Groq LPU驅動Meta Llama 2模型，推理性能可以做到頂級云計算供應商的18倍。英偉達在GTC 2024上也發布了全新的 GPU——Blackwell芯片，推理能力是Hopper的30倍。

如今，推理芯片領域還沒有壟斷性的巨頭，推理芯片是一個萬億顆芯片的大藍海市場，而中國市場擁有豐富的場景，未來推理芯片會應用到各個行業中，解決各個場景的問題，國內的AI芯片企業也會在推理芯片領域迎來新的進展。