一場屬于開發(fā)者的技術盛宴“AI大模型：顛覆式創(chuàng)新與落地實踐”在上海模速空間完美收官，為所有參與者留下了深刻印象與滿滿收獲。

活動當天，來自零一萬物、英特爾、未來速度科技、映云科技、儀酷智能、波爾鴨、研揚科技、億琪軟件、云錦微等眾多行業(yè)翹楚的專家和創(chuàng)始人，不僅分享了大模型領域的最新研究成果，更展示了落地實踐的生動案例，激發(fā)了現(xiàn)場每一位開發(fā)者對未來技術應用的無限遐想。

模速空間總經理陳海慈先生作為場地方代表開場分享，模速空間是專注于大模型產業(yè)的生態(tài)創(chuàng)新社區(qū)，位于徐匯區(qū)，去年9月成立，已吸引70+家企業(yè)入駐，一、二期場地近2萬方載體投入使用，目標建設10萬方大模型生態(tài)社區(qū)。社區(qū)提供強大算力支持、豐富語料資源、權威模型測試、充足資金對接及便利備案服務，包括超5000萬算力補貼、高質量公共數(shù)據、200億人工智能母基金等，助力大模型產業(yè)高速發(fā)展。

零一萬物開源暨開發(fā)者生態(tài)總監(jiān)林旅強以脫口秀的形式展開了活動的分享環(huán)節(jié)，講述自己從非技術背景轉型為開發(fā)者并投身AI領域的經歷。轉型成功的關鍵在于個人興趣與動力，而非恐懼，他鼓勵大家主動培養(yǎng)愛好而非被動跟隨趨勢。并分享了從自學Linux到建立博客、社區(qū)互動，再到出版書籍的過程，強調輸出和參與開源項目、不斷練習的重要性。林旅強提及AI將模糊開發(fā)者與產品構建者界限，使兩者更融合，認為AI工具將降低代碼門檻，未來將幫助快速實現(xiàn)想法落地。

隨后，零一萬物開發(fā)者關系工程師在分享中深入解析了開源大模型現(xiàn)狀，指出大模型的核心在于詞匯概率預測，訓練階段模型學習單詞出現(xiàn)概率，而微調優(yōu)劣構架構成對話則需監(jiān)督學習格式。探討了不同模型間性能差異因素，包括架構、數(shù)據、訓練科學、效率等，強調數(shù)據質量至關重要。指出數(shù)據清洗的挑戰(zhàn)，提及數(shù)據來源與質量把控。討論了模型訓練集與對話學習中的問題，提及數(shù)據量與質量平衡，指出Lima路線選擇質量高于數(shù)量。分享了社區(qū)與開源對話數(shù)據集的缺乏，以及處理技術如蒸餾分餾的現(xiàn)狀，為聽眾提供了理解大模型學習和開源領域實用指南與挑戰(zhàn)的全面視角。

英特爾AI軟件布道師武卓博士分享了OpenVINO 2024.1版本的最新特性，強調了對AI模型推理加速和部署的優(yōu)化。OpenVINO 作為英特爾的開源工具，支持多種深度學習框架模型，包括最新的大模型，并能優(yōu)化和部署在各種設備上運行。新版本增加了對大模型的支持，如Meta的模型，提高了現(xiàn)有模型的性能。從優(yōu)化角度，新版本引入混合量化技術，如針對特定模型，顯著壓縮同時保持圖像質量，提升推理速度。部署方面，OpenVINO 支持神經處理單元，新插件讓OpenVINO 在AI PC上運行模型推理更高效。整體上，OpenVINO 2024.1展現(xiàn)了對AI大模型部署和優(yōu)化的強大支持，推動了技術的應用與實踐。

杭州未來速度科技有限公司聯(lián)合創(chuàng)始人兼CEO秦續(xù)業(yè)在分享中介紹了，聚焦于大模型時代背景下，特別是分布式推理平臺Xinference的作用和優(yōu)化。隨著大模型如GPT等的出現(xiàn)，模型愈發(fā)龐大，推理效率成為瓶頸。Xinference通過有效利用技術，如KV緩存機制，優(yōu)化存儲訪問，減少計算量，加速推理過程。提及Berkeley提出的分頁機制，動態(tài)調整緩存管理，提高GPU利用率。討論了模型尺寸問題時，如GPT的巨型，推測性采樣技術可減少大模型調用頻次，提高吞吐量。整體分享展示了在面對大模型推理挑戰(zhàn)，如何通過技術創(chuàng)新和策略優(yōu)化，實現(xiàn)高效部署，推進AI應用落地。

EMQ社區(qū)布道師周子博與智擎信息創(chuàng)始人王曦在聯(lián)合分享中強調了AI技術落地實踐，特別是工業(yè)領域中大模型的應用價值。他們提到，通過與EMQ合作，利用IoT系列產品，結合歷史數(shù)據與新模型預測維護設備異常，幫助企業(yè)提前發(fā)現(xiàn)潛在問題。企業(yè)庫產品集成內部信息，加速查詢與知識獲取，輔助決策。案例中，EMQ與全球500強客戶采用該方案，整合設備數(shù)據、文檔等，提高分析效率，通過AI模型與歷史數(shù)據融合，實現(xiàn)更直觀、快速診斷與報告，助力生產優(yōu)化。分享突出了AI技術在實際場景中的應用與效能，展示了模型如何提升工業(yè)智能分析與決策速度，優(yōu)化工作流程。

上海儀酷智能科技有限公司CEO王立奇在分享中介紹了LabVIEW與英特爾緊密合作，在AI領域特別是在工業(yè)自動化與圖形化編程平臺上的應用。他們開發(fā)的工具包，簡化了基于OpenVINO 的推理，使用戶無需安裝OpenVINO 即可在英特爾硬件上運行模型，在CPU或顯卡上進行推理。他們還推出了AI視覺工具包，支持各種視覺應用，包括物體檢測、分割等，僅需圖形化編程就能快速部署，與英特爾緊密集成，無縫支持最新模型，如V5到V8，讓用戶直觀圖形化編程實現(xiàn)AI模型部署。通過這些工具，LabVIEW在工業(yè)界展現(xiàn)了AI技術的力量，加速自動化項目的部署與創(chuàng)新。

上海波爾鴨人工智能科技有限公司CEO劉雅麗分享了關于AI應用的挑戰(zhàn)與解決方案，特別是大型模型應用的難點，包括高昂算力成本、數(shù)據獲取與隱私安全、技術瓶頸及人才短缺。她強調了AI Agent（智能體）在提升產品市場適應性上的潛力，能進行目標導向的任務規(guī)劃與自我學習，實現(xiàn)類似甚至超越人類水平的服務，并提到多智能體協(xié)作是未來趨勢。劉雅麗還提及了她的實踐，通過AI Agent實現(xiàn)自動化售前檢測，以及如何構建AI產品并運用黑客增長策略，關注用戶留存與獲取、裂變機制，最終考慮變現(xiàn)模式。并通過Samantha項目，展示了AI如何成為親密伙伴，強調了情感維度，展示了AI技術前沿探索與未來可能性，強調了在AI創(chuàng)業(yè)中優(yōu)化商業(yè)模式與用戶體驗的重要性。

上海億琪軟件有限公司CEO褚建琪分享聚焦于邊緣計算領域的開源項目EdgeX Foundry，它作為一個開放、靈活的基礎設施，支持多硬件與軟件互關的框架，旨在促進數(shù)據采集、處理與命令下發(fā)等邊緣端應用。他提到了EdgeX Foundry與OpenVINO 的集成，為邊緣設備服務的AI推理提供了便利，并強調了數(shù)據匯聚與命令下發(fā)的重要性。褚建琪通過介紹EdgeX Foundry與OpenVINO 在邊緣計算中的應用實例，旨在幫助企業(yè)或用戶更好地理解如何利用這些技術進行數(shù)據處理、管理與控制，從而提升效率。分享突出了開源項目的核心優(yōu)勢與實踐中的靈活性，鼓勵技術集成與實際部署，提供了在邊緣計算方面的洞見地運用新視角。

研揚科技（蘇州）有限公司人工智能BDM徐林吉介紹了研揚科技作為一家專注于制造業(yè)的實體企業(yè)在AI應用上的探索，尤其是在邊緣計算領域的實踐與挑戰(zhàn)。AI大模型對硬件的需求日益增長，尤其是內存與帶寬成為了限制因素，他強調模型部署時需要考慮的硬件配置。徐林吉分享了研揚科技基于英特爾處理器的開發(fā)板載板的成功案例，盡管性能相對較低，但仍能部署3b模型，雖精度略降，顯示了模型部署的靈活性。他還討論了內存與帶寬的平衡，以及FP精度對性能影響，提出在選擇硬件時的參考值。盡管大模型看似需要高性能設備，但通過策略優(yōu)化，即使是較低配置的硬件也能運行，展示了大模型應用的廣泛可能性。活動為制造業(yè)如何應對大模型挑戰(zhàn)提供了硬件層面的洞見地策略與實際案例。

上海云錦微CTO周昌重點介紹了VT-Transformer框架，一個開源AI模型的計算生態(tài)，旨在簡化邊緣和端側推理的復雜性，解決AI在硬件多樣化環(huán)境中的部署難題。當前主流開源框架中存在多層不同框架的代碼堆疊，加大了開發(fā)者負擔，特別是對邊緣和端側等受限算力的部署不友好。VT-Transformer精簡化小型化的策略，可以減少從模型到推理的步驟，通過萬行代碼直接高效操作，大幅簡化計算，使得在邊緣和端側的小型場景比如電線桿、房間等部署應用大模型成為可能。同時，VT-Transformer支持多模態(tài)、混合模型、以及大小模型協(xié)同、云邊模型協(xié)同，一方面可以全面釋放模型的開放性，另一方面也可以全面實現(xiàn)芯片算力的國產化，支持多家國產硬件如海光、天數(shù)、愛芯等，充分考慮了與生態(tài)的兼容性，以滿足實際應用的多樣化需求。他強調開源是核心，包括AI模型層、AI計算層都開源才能真正解決安全顧慮，避免出現(xiàn)不可控的黑盒。憑借聚焦精簡化小型化策略的VT-Transformer，解決計算，終將使AI在邊端廣泛應用成為可能，用一種簡化與實用的技術路線，為開發(fā)者提供了一個更易用的路徑，可期有效推動AI技術的產業(yè)落地。

活動全程，開發(fā)者們積極互動，Demo展區(qū)前人頭攢動，共創(chuàng)AI未來的橋梁在此悄然搭建。活動雖已結束，但對AI大模型的熱情不減反增，開發(fā)者們帶著新知與靈感離開。再次感謝每一位參與者的熱情參與，相約下一次技術盛宴，期待下一站的精彩！