機(jī)器學(xué)習(xí)和深度學(xué)習(xí)已經(jīng)成為我們生活中不可或缺的一部分。通過(guò)自然語(yǔ)言處理（NLP），圖像分類和對(duì)象檢測(cè)的人工智能（AI）應(yīng)用程序已深深地嵌入到我們使用的許多設(shè)備中。大多數(shù)AI應(yīng)用程序都通過(guò)基于云的引擎提供服務(wù)，這些引擎可以很好地滿足其用途，例如在Gmail中鍵入電子郵件響應(yīng)時(shí)獲取單詞預(yù)測(cè)。

盡管我們享受這些AI應(yīng)用程序帶來(lái)的好處，但這種方法帶來(lái)了隱私，功耗，延遲和成本挑戰(zhàn)。如果存在一個(gè)本地處理引擎能夠在數(shù)據(jù)本身的原始位置執(zhí)行部分或全部計(jì)算（推斷），則可以解決這些挑戰(zhàn)。對(duì)于傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)而言，這已經(jīng)很難做到了，在傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中，內(nèi)存成為了耗電的瓶頸。該問(wèn)題可以通過(guò)多級(jí)存儲(chǔ)器以及模擬內(nèi)存計(jì)算方法來(lái)解決，該方法可以使處理引擎共同滿足更低的毫瓦（mW）至微瓦（uW）功率要求，從而可以在以下條件下執(zhí)行AI推理網(wǎng)絡(luò)的邊緣。

當(dāng)AI應(yīng)用程序通過(guò)基于云的引擎提供服務(wù)時(shí)，用戶必須（有意或無(wú)意）將一些數(shù)據(jù)上傳到云，計(jì)算引擎將在該云上處理數(shù)據(jù)，提供預(yù)測(cè)，并將預(yù)測(cè)發(fā)送到下游以供用戶使用。

為了使用本地處理引擎解決這些挑戰(zhàn)，必須首先使用給定的數(shù)據(jù)集對(duì)將要執(zhí)行推理操作的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以實(shí)現(xiàn)所需的用例。通常，這需要大量的計(jì)算（和內(nèi)存）資源以及浮點(diǎn)算術(shù)運(yùn)算。結(jié)果，機(jī)器學(xué)習(xí)解決方案的訓(xùn)練部分仍然需要在具有數(shù)據(jù)集的公共或私有云（或本地GPU，CPU，FPGA場(chǎng)）上完成，以生成最佳的神經(jīng)網(wǎng)絡(luò)模型。一旦神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)備就緒，就可以使用小型計(jì)算引擎為本地硬件進(jìn)一步優(yōu)化模型，因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型不需要反向傳播進(jìn)行推理操作。推理引擎通常需要大量的乘積（MAC）引擎。

大多數(shù)神經(jīng)網(wǎng)絡(luò)模型需要大量的MAC操作。例如，即使是相對(duì)較小的“ 1.0 MobileNet-224”模型也具有420萬(wàn)個(gè)參數(shù)（權(quán)重），并且需要5.69億個(gè)MAC操作來(lái)執(zhí)行推理。由于大多數(shù)模型都由MAC操作控制，因此這里的重點(diǎn)將放在機(jī)器學(xué)習(xí)計(jì)算的這一部分上，并探索創(chuàng)造更好解決方案的機(jī)會(huì)。下面的圖2說(shuō)明了一個(gè)簡(jiǎn)單的，完全連接的兩層網(wǎng)絡(luò)。