當前，人工智能技術正加速向大模型時代邁進，在政務、金融、醫療、工業等領域展現出顛覆性潛力。然而，大模型的訓練與部署面臨算力成本高、技術生態依賴性強、行業落地門檻高三大挑戰。

為加速技術普惠，4月23日晚，開源中國直播欄目《數智漫談》邀請華為昇騰生態技術專家、行業先行者以及迅龍軟件等，分享一線開發經驗，助力開發者與企業用戶抓住國產 AI新紅利。

該話題圍繞“如何讓AI既跑得快（性能優化）又用得好（場景適配）”而展開。華為云 HCDE、微軟 Insider Dev Tour China姚圣偉針對“昇騰插件化接入vLLM加速大模型推理創新最佳實踐”做了主題分享。他表示，基于自主研發的昇騰處理器及CANN異構計算架構，昇騰推出插件化接入方案，與開源推理框架vLLM深度適配，為大模型推理提供高性能、低時延的創新實踐。通過該功能，用戶可以像實現自定義模型一樣，插件化的完成vLLM的硬件支持。用戶可以實現自己的Woker、ModelRunner、Attention、Communicator以及自定義算子。

迅龍軟件技術專家以OrangePi AI Studio Pro為例，分享了迅龍軟件在AI方面的探索實踐，并現場演示了在OrangePi AI Studio Pro上完成DeepSeek-R1-Distill-Qwen-14B模型的本地化部署。OPi AI Studio Pro是基于2個昇騰AI處理器的新一代高性能算力卡，可提供352 TOPS INT8的計算能力，內存提供了96GB和192GB兩個版本。

OPi AI Studio Pro融合“通用處理器、AI Core、編解碼” 于一體，提供超強AI推理、目標檢索、視頻圖片編解碼等功能，具有超強算力、超高能效、超大視頻解析路數、高性能特征檢索等優勢，支持高清視頻實時分析，可廣泛應用于OCR識別、目標識別、搜索推薦、內容審核、智慧城市、智慧交通、智慧園區等諸多AI應用場景。

《數智漫談》是開源中國推出的一檔直播欄目，每月1期，已推出22期。以“深度對話、多元視角、前沿洞察”為核心理念，聚焦IT技術、開源治理、行業趨勢與創新實踐，通過輕松互動形式搭建開源領域的思想交流平臺。