隨著大模型以及 AIGC 的出圈，應(yīng)用智慧化體驗(yàn)提升已成為用戶用機(jī)的核心訴求之一。如何將 AI 下沉至終端并與系統(tǒng)深度融合解決用戶痛點(diǎn)、挖掘創(chuàng)新場景成為開發(fā)者面臨的挑戰(zhàn)。

為滿足開發(fā)者差異化的場景需求，OPPO 在 ColorOS 系統(tǒng)智能產(chǎn)品領(lǐng)域進(jìn)行創(chuàng)新實(shí)踐，通過自研端側(cè) AI 平臺（AIUnit）幫助開發(fā)者一站式完成算法部署、測試和發(fā)布。

在【OTalk丨OPPO 開發(fā)者技術(shù)沙龍-端側(cè)AI-智能產(chǎn)品專場】直播中，OPPO 軟件工程系統(tǒng)-端側(cè)AI研發(fā)團(tuán)隊(duì)為大家介紹了 OPPO 的端側(cè) AI 能力和應(yīng)用場景、一站式端側(cè) AI 平臺技術(shù)架構(gòu)及創(chuàng)新實(shí)踐，解答開發(fā)者對于端側(cè) AI 智能產(chǎn)品開發(fā)的疑問和訴求。

ColorOS AI 能力與具體應(yīng)用場景有哪些？

目前，ColorOS 圖像識別相關(guān)AI 產(chǎn)品包括文字提取、文本意圖識別--OCR、文本意圖識別--復(fù)制、圖片識別、翻譯和掃描等。OPPO 希望通過 OCR、圖像分割等能力作為系統(tǒng)信息獲取觸點(diǎn)，通過 NLP、CV 等算法對信息的理解能力對獲取信息進(jìn)行內(nèi)容分類和意圖分析，串聯(lián)各類服務(wù)，為用戶提供智能高效用機(jī)體驗(yàn)的同時為開發(fā)者提供更有效的流量轉(zhuǎn)化。

作為觸點(diǎn)的 OCR 識別能力支持橫豎文字、段落、方格、排版，生僻字的識別、中英文混合、基礎(chǔ)文本的識別率超 80%，覆蓋相冊、復(fù)制、識屏、掃一掃、相機(jī)、便簽、截屏等7大用機(jī)場景。

作為意圖理解核心的文本 NLP 能力已支持抖音、騰訊會議等 10+ 文本類型識別。通過整合各類辦公、生活應(yīng)用服務(wù)，OPPO 還可為不同類型的內(nèi)容提供對應(yīng)的功能延伸，如為地址信息提供導(dǎo)航、打車等卡片選項(xiàng)，幫助各類型服務(wù)的開發(fā)者打造額外服務(wù)入口，為用戶提供一鍵直達(dá)的服務(wù)體驗(yàn)。

ColorOS 系統(tǒng)為開發(fā)者提供統(tǒng)一 AI 能力的優(yōu)勢在哪里？

首先是成本低，ColorOS 已具備成熟圖文識別能力，接入成本并不高；

其次是更安全，ColorOS 可以利用端側(cè)算力完成計算，避免云側(cè)AI信息泄露風(fēng)險；

再者是數(shù)據(jù)全，ColorOS 掌握用戶用機(jī)習(xí)慣數(shù)據(jù)，這些數(shù)據(jù)三方無法獲取；

最后是跨平臺，ColorOS 串聯(lián)各類型服務(wù)，為用戶帶來更便捷智慧體驗(yàn)。

綜上，對于開發(fā)者而言，無論是降低開發(fā)成本，還是為用戶提供統(tǒng)一的服務(wù)體驗(yàn)，由ColorOS提供統(tǒng)一AI能力都將是有力支撐。

開發(fā)者如何解決算法在不同平臺的差異化部署和運(yùn)行？

目前，OPPO已經(jīng)初步搭建端側(cè)AI平臺基礎(chǔ)端云協(xié)同框架，并且預(yù)計在2024年發(fā)布全新升級的平臺化體系1.0，將會包含以下內(nèi)容：

AIBoost 端側(cè)推理框架：支持模型輕量化部署，涉及剪枝量化、加密轉(zhuǎn)換、算子融合、異構(gòu)計算等，同時適配Android原生NNAPI及不同的芯片平臺，兼容各種型號手機(jī)及IOT設(shè)備，還提供了配套的開發(fā)工具，以幫助開發(fā)者低代碼、自動化地生成部署代碼，降低開發(fā)成本；

AIUnit 端云融合運(yùn)行服務(wù)：除了集成AIBoost滿足常見的TFLite、ONNX等模型端側(cè)推理運(yùn)行外，還提供了全新的Android插件化資源框架Orange，可以幫助開發(fā)者將自身應(yīng)用產(chǎn)品中的算法進(jìn)行插件化改造剝離，以獨(dú)立的形態(tài)實(shí)現(xiàn)云側(cè)發(fā)布，并且覆蓋范圍將會涉及全球至少六個國家或地區(qū)。端側(cè)運(yùn)行時將充分融合ColorOS系統(tǒng)優(yōu)勢，實(shí)現(xiàn)算法的全生命周期管理，以場景為維度做端云算法的切換調(diào)度，保證設(shè)備穩(wěn)定性和低功耗的同時提升用戶用機(jī)體驗(yàn)；

Odin 端云協(xié)同部署平臺：借助OPPO自研的安第斯智能云，端側(cè)AI平臺可以實(shí)現(xiàn)全球化發(fā)布和差異化部署，開發(fā)者可以將自己的算法模型或插件按照自定義條件發(fā)布到任意OPPO設(shè)備，同時平臺還將統(tǒng)計和收集算法在端側(cè)的內(nèi)存、耗時、功耗等運(yùn)行時數(shù)據(jù)，可視化展示其性能指標(biāo)，輔助開發(fā)者快速迭代。未來還將在用戶許可的條件下基于端側(cè)訓(xùn)練及聯(lián)邦學(xué)習(xí)生成用戶標(biāo)簽，幫助開發(fā)者伙伴實(shí)現(xiàn)服務(wù)精準(zhǔn)推薦，建立起ColorOS系統(tǒng)與三方應(yīng)用的端側(cè)AI生態(tài)互融的友好合作關(guān)系；

AI能力測試平臺：開發(fā)者在部署過程中會遇到二次部署開發(fā)、測試腳本開發(fā)、演示工具開發(fā)和接口開發(fā)等問題，還需要對端側(cè)推理的性能做驗(yàn)證，AI能力測試平臺將面向這一痛點(diǎn)提供全套的插件化開發(fā)套件，開發(fā)者只需要少量的代碼即可完成上述物料的開發(fā)工作，只需要將物料上傳到AI能力測試平臺，并且按需設(shè)定測試環(huán)境配置，即可在真機(jī)上完成端側(cè)的測試工作，從而驗(yàn)證算法在端側(cè)的客觀表現(xiàn)和性能指標(biāo)。

此外，在豐富的框架和開發(fā)工具加持下，非AI開發(fā)者也可以接入OPPO的AI能力快速實(shí)現(xiàn)AI場景。未來半年內(nèi)，OPPO還將支持全球化部署，上線測試平臺及開發(fā)套件，平臺化的建設(shè)將助力開發(fā)者從開發(fā)、部署、測試、發(fā)布全鏈路實(shí)現(xiàn)算法的端到端落地。

OPPO基于端側(cè)AI平臺能力進(jìn)行了哪些創(chuàng)新實(shí)踐？

OPPO 推出全能掃碼算法，目前已應(yīng)用于Reno10 Pro+超級掃一掃功能，實(shí)現(xiàn)35米超遠(yuǎn)距離掃碼和10度超傾斜掃碼，全能掃碼檢測能力更快。

1）基于傳統(tǒng)圖像處理方法設(shè)計預(yù)檢測模塊，減少不必要的定位和檢測算法調(diào)用；

2）基于AIBoost實(shí)現(xiàn)檢測模型端側(cè)部署，減少碼類檢測耗時；通過小目標(biāo)檢測和變焦邏輯實(shí)現(xiàn)超遠(yuǎn)檢測功能；

3）針對遠(yuǎn)距離、小角度解碼問題，使用碼類矯正、碼類等去模糊算法來增強(qiáng)成像質(zhì)量，提升極限場景下解碼能力；

開發(fā)者Q &A 問答

1、OPPO端側(cè)AI平臺在能力支持上有哪些優(yōu)勢？

OPPO 端側(cè)AI平臺的優(yōu)勢在于：支持算法類型更多，支持云側(cè)部署，端側(cè)推理支持的芯片平臺更豐富且支持異構(gòu)。

2、如何快速接入OPPO端側(cè)AI能力？

開發(fā)者可以登錄OPPO開放平臺官網(wǎng)，在產(chǎn)品列表中「端側(cè)AI」入口進(jìn)行申請接入。






審核編輯：劉清