全新的iPhone X集成了用于人臉識別的神經(jīng)引擎，但這僅僅是一個開始。嵌入式神經(jīng)引擎和專用智能處理器在邊緣設(shè)備上實(shí)現(xiàn)了人工智能(AI)，打破了對于云的依賴。邊緣處理的好處包括減少延遲，全網(wǎng)絡(luò)覆蓋，增加了隱私和安全性，并減少了與云端的通信，從而降低了成本。正因?yàn)榫邆渖鲜鰞?yōu)勢，移動設(shè)備可以利用人工智能去實(shí)現(xiàn)不久前還只能出現(xiàn)在科幻小說中的場景。

過去的機(jī)器現(xiàn)在是實(shí)時(shí)數(shù)據(jù)處理中心

我在參加我們的年度研討會時(shí)，有機(jī)會親密接觸到了嵌入式世界中的AI技術(shù)。曾經(jīng)是純機(jī)械的機(jī)器，比如汽車、無人機(jī)和機(jī)器人，現(xiàn)在正變得智能起來，具備了可視、感知、跟蹤、分類、檢測、識別等能力。現(xiàn)在，這些設(shè)備使用計(jì)算機(jī)視覺和傳感器融合來收集和處理數(shù)據(jù)，并進(jìn)行實(shí)時(shí)決策。在某些情況下，比如無人駕駛汽車和無人機(jī)，決策是至關(guān)重要的，云端處理的延時(shí)可能導(dǎo)致難以接受的響應(yīng)時(shí)間。通過片上智能化，這些機(jī)器更準(zhǔn)確地被定義為了數(shù)據(jù)中心。

圖1：AI的邊緣化必須實(shí)時(shí)和低功耗地處理大量信息。

無人駕駛車輛就是一個很好的例子，它需要大量的視覺和其它傳感器，以及衛(wèi)星定位信息和各種連接解決方案。它還必須有一個“大腦”完成數(shù)據(jù)融合和分析。同時(shí)基于云的處理和信息也將在自動駕駛功能中發(fā)揮作用，因此必須有一個可以瞬間做出決策的車載處理器。即使出現(xiàn)零星的情況，操作車輛也不會有危險(xiǎn)是非常關(guān)鍵的。因此，處理器能夠處理密集的深度學(xué)習(xí)計(jì)算是必要的，而不是一個可選的功能。

圖2：汽車上的AI邊緣處理要求高水平的車載智能。

神經(jīng)網(wǎng)絡(luò)的邊緣處理正在成為主流

在智能手機(jī)領(lǐng)域，蘋果通常是一個新增特性被作為主流必備還是利基市場(niche-market )配件的試金石。隨著蘋果新旗艦iPhone X的發(fā)布，手機(jī)上配有一個專門的神經(jīng)引擎是人工智能邊緣處理的一件大事。如同先前的預(yù)測，這意味很快每個帶有攝像頭的設(shè)備將包括一個視覺DSP，或其它專門的神經(jīng)網(wǎng)絡(luò)處理器。

iPhone X里的神經(jīng)引擎實(shí)現(xiàn)了Face ID技術(shù)，允許用戶注視手機(jī)從而解鎖他們的iPhone。超快的響應(yīng)時(shí)間加上隱私和安全級別的考慮需要所有的識別處理必須在手機(jī)上完成。以現(xiàn)在設(shè)備上具備的AI能力，肯定會不斷推出更多令人興奮的AI功能。

谷歌也在其最新的旗艦手機(jī)Pixel 2中增加了類似的功能，通過稱之為像素視覺核心(Pixel Visual Core)的處理器實(shí)現(xiàn)。在競爭激烈的智能手機(jī)領(lǐng)域，谷歌必須實(shí)現(xiàn)差異化。方法之一是為Pixel智能手機(jī)的相機(jī)搭載出眾的軟件。但是，圖像增強(qiáng)所需的密集計(jì)算，單鏡頭背景虛化效果，提高照片的動態(tài)范圍，這些功能在目前大部分領(lǐng)先的智能手機(jī)自帶的標(biāo)準(zhǔn)處理器上不能高效地運(yùn)行。因此，谷歌決定為這些功能添加第二個芯片，通過添加AI功能可能是另一個主要差異化的體現(xiàn)。華為最近也宣布了在麒麟970中集成了神經(jīng)引擎，另外還有許多其它公司也加入到競賽中。

基于視覺DSP的引擎如何實(shí)現(xiàn)片上智能化？

雖然邊緣處理的好處顯而易見，它同時(shí)也帶來了挑戰(zhàn)。難題是如何將可以在巨型服務(wù)器上完成的數(shù)據(jù)運(yùn)算，放入到一個很小的手持設(shè)備中，同時(shí)電量還被消耗在許多其它處理任務(wù)上。這就是視覺DSP對于能否成功實(shí)現(xiàn)邊緣AI處理至關(guān)重要的原因。精簡和高效，但強(qiáng)大的矢量化性能，讓DSP處理器成為完成神經(jīng)引擎工作負(fù)載的最佳選擇。

另一個挑戰(zhàn)是如何將現(xiàn)有的神經(jīng)網(wǎng)絡(luò)移植到嵌入式DSP環(huán)境里。這可能會消耗大量的開發(fā)時(shí)間，代價(jià)變得非常昂貴。但是自動化工具鏈可以支持“按鍵操作”，一站式服務(wù)將網(wǎng)絡(luò)的分析和優(yōu)化轉(zhuǎn)換到嵌入式環(huán)境中。對這樣的工具而言，覆蓋大量最先進(jìn)的網(wǎng)絡(luò)是非常重要的，以確保任何網(wǎng)絡(luò)都可以很容易地優(yōu)化并運(yùn)行在嵌入式設(shè)備上。

圖3：Faster RCNN——CEVA完整的自動網(wǎng)絡(luò)生成器可以有效的降低帶寬和保持比特精度。

一旦移植和優(yōu)化過程完成后，通常會對輸入數(shù)據(jù)進(jìn)行下采樣，從而以最少的信息丟失完成更快速的處理。例如在CEVA的全自動網(wǎng)絡(luò)生成器Faster RCNN的流程中，我們有兩個處理階段，區(qū)域建議(proposal regions)和區(qū)域分類(classify regions)。

圖4：Faster RCNN處理流

CEVA-XM家族處理器是超低功耗的視覺DSP，非常適合完成此類工作。通過添加CEVA-CNN硬件加速器(HWA)可以更進(jìn)一步提升性能，加速神經(jīng)網(wǎng)絡(luò)處理(例如Faster RCNN)。從圖5中可以看到，CEVA的第五代視覺處理器CEVA-XM6，相比前一代CEVA-XM4性能有了顯著改善。添加CEVA-CNN硬件加速器則使性能又向前邁進(jìn)了一大步。

圖5：使用CEVA-XM視覺DSP家族后Faster RCNN的性能。

基于深度學(xué)習(xí)的人工智能為手持設(shè)備帶來了無盡的機(jī)會：通過圖像增強(qiáng)獲得DSLR質(zhì)量的照片，增強(qiáng)和虛擬現(xiàn)實(shí)應(yīng)用，環(huán)境感知、避讓和導(dǎo)航、檢測、跟蹤、識別、分類、分割、映射、定位、視頻增強(qiáng)等等。我們手掌中擁有這樣的力量，看起來智能手機(jī)的通話功能就微不足道了。

圖6：AI支撐的可視化智能應(yīng)用。

未來智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。由互聯(lián)網(wǎng)進(jìn)化論作者，計(jì)算機(jī)博士劉鋒與中國科學(xué)院虛擬經(jīng)濟(jì)與數(shù)據(jù)科學(xué)研究中心石勇、劉穎教授創(chuàng)建。

未來智能實(shí)驗(yàn)室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網(wǎng)（城市）云腦研究計(jì)劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。