隨著越來越多的物聯(lián)網(wǎng)終端設(shè)備在各個行業(yè)加速部署，邊緣計算的重要性日益凸顯，AI算法也正在逐步從云端下沉到邊緣節(jié)點中去運行。據(jù)IDC預計，到2025年，全球?qū)⒂?500億個終端設(shè)備接入網(wǎng)絡，其中超過70%的數(shù)據(jù)將在網(wǎng)絡邊緣側(cè)被結(jié)構(gòu)化處理。

36氪近期接觸到的OPEN AI LAB（開放智能）成立于2016年，專注邊緣智能計算及應用，提供邊緣AI推理框架Tengine和AI應用開發(fā)及部署平臺OmniMaster等軟件產(chǎn)品，并以此為基礎(chǔ)，為行業(yè)客戶提供完整軟硬件解決方案，加速AI產(chǎn)業(yè)化部署。

聚焦邊緣端部署痛點，推出邊緣AI推理框架Tengine

由于邊緣計算相較于過去單純的云計算來說成本低、實時性好，大量邊緣計算節(jié)點開始部署，邊緣節(jié)點也在逐步實現(xiàn)智能化。但在推進過程中，AI算法模型從云端到邊緣端的遷移部署環(huán)節(jié)過程繁雜，痛點具體表現(xiàn)為：

芯片及硬件多樣性使得前端適配兼容問題凸顯：由于對性能、接口、功耗、價格、可靠性、環(huán)境適應性等因素的要求千差萬別，大量AI芯片及硬件開始涌現(xiàn)，特別是NPU及RISC-V架構(gòu)的推進，生態(tài)日益碎片化，但目前缺乏合適的中間層和計算庫及統(tǒng)一的平臺和穩(wěn)定接口，使得跨硬件向上兼容成為難點；

軟件層面的訓練框架多樣性使得模型遷移效率問題顯現(xiàn)：在把云端上訓練好的AI算法模型遷移到算力有限的前端硬件過程中，算法開發(fā)人員需要做大量模型量化、優(yōu)化甚至算子層面的調(diào)整工作，過程繁雜，更非其擅長的領(lǐng)域。

這些問題一方面使得芯片公司不僅需要在硬件層面提升算力，還需要向上延伸提供各種配套AI應用開發(fā)的SDK工具，幫助AI算法開發(fā)者有效利用芯片的算力，另一方面導致算法公司為了避免云端模型遷移到前端出現(xiàn)性能差、精度低的問題，需要花費大量成本投入到邊緣側(cè)底層的適配優(yōu)化中去。

于是大量AI科技初創(chuàng)公司在尋找到算法應用場景后做全棧工程化，包含了底層芯片及硬件的選型甚至自研，數(shù)據(jù)采集、算法訓練、優(yōu)化、部署，甚至業(yè)務SaaS開發(fā)，從芯片到云，形成煙囪式的垂直化，這種模式兼容性差、開發(fā)成本高。

因此從行業(yè)整體上來看，問題就體現(xiàn)為產(chǎn)業(yè)鏈分工并不清晰。解決好這一行業(yè)痛點是實現(xiàn)AI在各行業(yè)規(guī)模應用的關(guān)鍵突破口。由此可見，邊緣AI計算產(chǎn)業(yè)鏈亟需可將算法和芯片連接、開放兼容的中間件，以細化行業(yè)分工程度。

基于此，OPEN AI LAB自2017年開始設(shè)計開發(fā)邊緣AI計算框架Tengine，并對Tengine進行了項目開源，其GitHub Star 已超過4300枚，目前也面向企業(yè)客戶提供商業(yè)化的Tengine產(chǎn)品及服務。

目前Tengine向下兼容幾乎所有主流國產(chǎn)智能芯片，向上支撐主流訓練框架及網(wǎng)絡模型。Tengine在產(chǎn)品架構(gòu)上主要具有以下特點：

算力兼容：跨芯片統(tǒng)一API接口，解決應用程序在不同開發(fā)平臺上切換底層硬件接口的問題，用戶使用Tengine可同時調(diào)用CPU、NPU、GPU等不同計算單元來完成AI異構(gòu)計算。

框架兼容：Tengine兼容支持TensorFlow、Caffe、MXNet 、PyTorch、ONNX等業(yè)內(nèi)主流框架。實際開發(fā)過程中，Tengine會將其訓練框架轉(zhuǎn)換為適配底層的Tengine模型，降低不同訓練框架在面對不同硬件及場景的遷移成本。

遷移加速：針對AIoT應用開發(fā)流程中的算法量化重訓練及前處理、后處理等繁瑣環(huán)節(jié)，Tengine配置了相應的圖編譯、圖優(yōu)化、模型量化、精度調(diào)優(yōu)及算法庫等一系列工具包，簡化和加速AI算法從云端到嵌入式邊緣設(shè)備的遷移過程。

OPEN AI LAB創(chuàng)始人兼CEO金勇斌向36氪表示，Tengine之于AIoT，猶如Android之于移動互聯(lián)網(wǎng)。Tengine使得上層應用程序與底層硬件基于中間的開發(fā)平臺實現(xiàn)適配兼容，從此，開發(fā)算法應用不需要再關(guān)心底層芯片，如同開發(fā)App可以不必關(guān)心APP將在哪款手機上運行。

OmniMaster：降低開發(fā)門檻，幫助企業(yè)實現(xiàn)AI算法的云端訓練及邊緣部署

AI算法邊緣端部署痛點通過Tengine得以解決，但在算法模型在部署到前端之前，一方面先要在服務器端完成數(shù)據(jù)標注清洗、模型訓練、針對邊緣節(jié)點上的芯片做精度量化優(yōu)化、性能評測等一系列流程后，再將算法向前端邊緣設(shè)備部署。

另一方面，算法的訓練數(shù)據(jù)通常分布在私有化業(yè)務場景中，終端企業(yè)客戶希望保證數(shù)據(jù)的私密性和安全性，而終端企業(yè)客戶又往往不具備相應的技術(shù)開發(fā)能力，所以AI算法應用推進較為緩慢，成本較高。

基于此，公司進一步推出了AI應用開發(fā)及部署平臺OmniMaster，OmniMaster可作為自動化工具幫助客戶實現(xiàn)場景確認、數(shù)據(jù)清洗標注、模型訓練、量化優(yōu)化、邊緣部署等開發(fā)環(huán)節(jié)，幫助AI技術(shù)基礎(chǔ)薄弱的企業(yè)快速實現(xiàn)AI場景應用，為企業(yè)節(jié)省開發(fā)成本，提高開發(fā)效率，方便企業(yè)將算法模型從云端部署至邊緣端。

如此一來，企業(yè)的基于Tengine的邊緣節(jié)點可像手機上安裝、升級App一樣不斷后裝第三方算法，算法運行后與OmniMaster聯(lián)動基于現(xiàn)場數(shù)據(jù)迭代學習、持續(xù)提升精度。

舉例來說，過去設(shè)備制造與方案商陸續(xù)將人臉、車牌等目標類別相對固定的算法固化到IPC（網(wǎng)絡攝像機）或邊緣盒子中，實現(xiàn)硬件與軟件一體化。這種事先預置固化算法的方式很難實現(xiàn)算法的快速升級，而部署Tengine的邊緣節(jié)點則可以更加靈活地配置、升級算法。

與芯片廠商、集成商等深度合作，加速業(yè)務在多行業(yè)落地

公司基于開放的邊緣AI計算框架Tengine建立廣泛的合作伙伴及開發(fā)者生態(tài)，以AI應用開發(fā)及部署平臺OmniMaster幫助行業(yè)客戶加速AI應用。

目前，已有近30家智能芯片廠商與OPEN AI LAB在Tengine上深度合作，包括紫光展銳、晶晨半導體、瑞芯微、全志科技、地平線、寒武紀、飛騰、龍芯、恒玄、賽昉科技、芯來科技、芯馳等等，實現(xiàn)在Arm， MIPS， RISC-V等各類CPU及NPU上對上層算法的兼容。計算機視覺上，Tengine支持Yolo等多種網(wǎng)絡模型的各種版本，也與OpenCV社區(qū)形成戰(zhàn)略合作關(guān)系。

商業(yè)模式方面，目前Tengine和OmniMaster主要以軟件授權(quán)或訂閱模式向芯片公司、集成商或終端客戶收取服務費，交付內(nèi)容基于客戶需求可包含工具、源碼及商業(yè)服務。

公司已經(jīng)在交通、能源、農(nóng)牧、制造、家居等多個行業(yè)領(lǐng)域形成完整解決方案。例如交通出行領(lǐng)域，車輛配備的DMS需要通過攝像頭獲取車內(nèi)和車外的視覺數(shù)據(jù)，實時監(jiān)控駕駛員和乘客的狀態(tài)，并識別是否有闖紅燈、壓線等違章行為。為了實現(xiàn)智能化識別，讓各類AI算法實時運行在低功耗AI算力有限的車載DMS（Driver Monitor System，駕駛員監(jiān)控系統(tǒng)）盒子上，并實現(xiàn)跑得上（兼容性高）、跑得動（實時性好）、跑得準（精度損失小），某出行服務企業(yè)選用Tengine作為DMS的底層框架，兼容多種芯片，性能方面平均提升50%以上，部分硬件的能效比提升100%以上。

智能穿戴和家居領(lǐng)域，基于Tengine加速的本地命令字識別算法可在極小的微控制器（MCU）上運行，客戶可以通過OmniMaster基于自身需求采集針對性的語音數(shù)據(jù)、自動化訓練，一鍵下發(fā)，快速賦予MCU以差異化語音命令功能，部分智能家電品牌企業(yè)正基于此技術(shù)將本地語音命令應用在智能穿戴、智能家居、陪伴玩具等產(chǎn)品上。

業(yè)務落地方面，針對能源、農(nóng)牧、制造等領(lǐng)域的頭部客戶，OPEN AI LAB通常與其系統(tǒng)集成商合作，為企業(yè)客戶提供包括前端邊緣智能化升級改造、Tengine和OmniMaster邊、云聯(lián)動的私有化部署解決方案，幫助企業(yè)在生產(chǎn)安全、質(zhì)量監(jiān)控等方面快速實現(xiàn)智能化，提高生產(chǎn)效率。例如在鋼鐵冶金行業(yè)，基于Tengine的邊緣AI服務器實現(xiàn)對鋼包的紅外熱成像檢測、潔凈度判斷，和對天車掛鉤進行監(jiān)測以及對鑄坯缺陷識別等。

此外，為了讓未來的AI開發(fā)者通過使用Tengine/OmniMaster，學習、理解、掌握計算機視覺與語音識別技術(shù)的開發(fā)和應用創(chuàng)新，OPEN AI LAB還向教育行業(yè)推出了EAIP（Edge AI Innovation Platform），EAIP將行業(yè)真實案例引入教學，學生通過EAIP理解與掌握行業(yè)+AI應用實踐。

談及AI在各行業(yè)的應用，金勇斌表示，從2018年開始，他和團隊跑過油田、下過鋼廠、蹲過豬圈、飄過海洋，去過的現(xiàn)場越多，越覺得AI需要“接地氣”，產(chǎn)業(yè)鏈必須要有更加清晰的分工，通過上下游分工協(xié)作來滿足客戶的多樣性需求，而不是家家都要成為華為或Nvidia。

OPEN AI LAB聚焦邊緣AI計算框架與AI應用開發(fā)與部署平臺，將與上下游的芯片、算法、方案、系統(tǒng)集成與部署的伙伴一起構(gòu)建良好的產(chǎn)業(yè)生態(tài)。

發(fā)展規(guī)劃

OPEN AI LAB目前有100余人，70%以上為產(chǎn)品研發(fā)人員，公司創(chuàng)始人兼CEO金勇斌曾任Arm中國市場營銷與生態(tài)發(fā)展副總裁，擁有近20年邊緣計算軟、硬件技術(shù)與產(chǎn)品研發(fā)、產(chǎn)品管理、市場營銷、大客戶銷售、新業(yè)務拓展經(jīng)驗。團隊核心成員來自Arm、Broadcom、華為、中興等芯片與系統(tǒng)公司。

公司曾相繼獲得普華資本、耀圖資本、紅杉資本、晨山資本的投資。目前正致力于進一步加強開源生態(tài)建設(shè)，完善產(chǎn)品研發(fā)，拓展方案伙伴及行業(yè)落地。
責任編輯:tzh