當前,人工智能產業飛速發展,用戶對AI智能體驗的需求不斷升級,而一個出色的AI應用或AI體驗的誕生,很大程度上依賴于底層芯片算力的極致發揮。
作為麒麟芯片計算能力的開放平臺,HUAWEI HiAI Foundation提供300+算子支持,具備業界最佳的模型兼容性,助力開發者快速開發和部署AI應用。但麒麟芯片計算能力開放還只是第一步,為了更好地利用麒麟芯片NPU的優勢,降低開發工作量、提高開發效率,HUAWEI HiAI Foundation與眾多開發者在業務對接中,還需要解決諸多難題。
其一,開發者設計的模型大多是基于CPU或GPU運行,當模型部署到NPU時,需要進一步為NPU做設計匹配,這對開發者而言是陌生的。舉個例子,模型設計時,更小的Channel拆分和更多的Vector算子,將無法發揮NPU的性能與功耗優勢。
其二,因開發者的模型結構對HUAWEI HiAI Foundation保密,在需要對AI模型進行調優時,雙方團隊溝通解決問題的時間成本較高,開發效率低。
洞察上述痛點后,HUAWEI HiAI Foundation技術團隊迅速行動,在最新版本100.510.020.010中創新性地推出了HUAWEI HiAI Foundation Model Zoo,將當前已經識別出來的NPU友好模型展示給開發者,幫助其設計 NPU友好模型算法結構、了解NPU優化策略,更好地發揮麒麟芯片的NPU加速優勢。
HUAWEI HiAI Foundation Model Zoo提供可直接調用的硬件最優模型庫,集成圖片分類、物體檢測、語義分割、超分等典型場景的網絡模型,包含IR算子性能調優使用指導,以及NPU性能友好模型結構和推薦指數,幫助開發者快速了解,哪個算子的哪種參數取值在硬件上能夠獲得更好的性能和能效的收益,如何優化模型結構可以實現高性能與低功耗。目前,HUAWEI HiAI Foundation的模型結構可視化已經在Netron工具適配上線,可以支持開發者打開Model Zoo中的模型文件,方便調試。
實測數據顯示,Resnet18模型在CPU上推理耗時74ms,在NPU上推理僅耗時6ms,耗時降低90%以上,可見NPU加速后性能優勢明顯。除此之外,開發者的工作效率也明顯提高,參考Model Zoo提供的OM模型,開發者可以基于自身業務需求進行模型訓練,省去了將原始模型轉換成OM模型的過程,提升了DDK易用性。
當然,HUAWEI HiAI Foundation Model Zoo的目標遠不止于此。除了解決開發者的模型設計痛點,HUAWEI HiAI Foundation Model Zoo還在著手構建NPU算法交流平臺,針對互聯網生態開發者和高效算法研究者,上線Model Zoo門戶網站,通過模型分類、查找、上傳功能,建立模型評分機制,提供算法開發者社區討論平臺等,輔助開發者高效開發適用于NPU平臺的模型算法。未來,HUAWEI HiAI Foundation Model Zoo將支持端云協同的模型訓練、調優和部署流程,支持算法懸賞任務機制,構建完整的NPU算法生態,最終實現HUAWEI HiAI Foundation社區的自繁榮。
原文標題:自主調優AI模型結構,麒麟芯片NPU加持!HUAWEI HiAI Foundation Model Zoo上線
文章出處:【微信公眾號:華為麒麟】歡迎添加關注!文章轉載請注明出處。
-
芯片
+關注
關注
459文章
52119瀏覽量
435621 -
AI
+關注
關注
87文章
34090瀏覽量
275197 -
開發者
+關注
關注
1文章
625瀏覽量
17360
原文標題:自主調優AI模型結構,麒麟芯片NPU加持!HUAWEI HiAI Foundation Model Zoo上線
文章出處:【微信號:Huawei_Kirin,微信公眾號:華為麒麟】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
首創開源架構,天璣AI開發套件讓端側AI模型接入得心應手
極速部署!GpuGeek提供AI開發者的云端GPU最優解

云端AI開發者工具的核心功能
【ELF 2學習板試用】ELF2開發板(飛凌嵌入式)搭建深度學習環境部署(RKNN環境部署)
《HarmonyOS第一課》煥新升級,賦能開發者快速掌握鴻蒙應用開發
云端AI開發者工具怎么用
香橙派與昇思MindSpore合作提速,軟硬結合助力開發者構建創新AI應用

Arm推出GitHub平臺AI工具,簡化開發者AI應用開發部署流程
AI驅動智慧未來,2024 TUYA全球開發者大會(中東)圓滿落幕

KaihongOS 4.1.2開發者預覽版正式上線,誠邀開發者免費試用!

KaihongOS 4.1.2開發者預覽版正式上線,誠邀開發者免費試用!
NVIDIA將全球數百萬開發者轉變為生成式 AI 開發者
NVIDIA NIM 革命性地改變模型部署,將全球數百萬開發者轉變為生成式 AI 開發者

評論