編者按

人工智能視覺芯片是一種可以同時(shí)獲取圖像、處理圖像的半導(dǎo)體芯片，這種芯片可以將獲取的圖像數(shù)據(jù)進(jìn)行并行處理，最終輸出處理結(jié)果。人工智能視覺芯片的目標(biāo)是在傳感器內(nèi)部實(shí)現(xiàn)復(fù)雜圖像處理，包括圖像識(shí)別和分類。

中國(guó)工程院羅毅院士研究團(tuán)隊(duì)在中國(guó)工程院院刊《Engineering》2022年第7期發(fā)表《感存算一體化智能視覺芯片的展望》一文。文章總結(jié)了感存算一體化智能成像系統(tǒng)中使用的兩種不同類型的架構(gòu)（即在傳感單元內(nèi)或附近進(jìn)行計(jì)算），然后討論了未來的發(fā)展方向（包括與算法匹配的架構(gòu)、3D集成技術(shù)、新型材料和先進(jìn)器件）。文章指出，感存算一體化智能成像系統(tǒng)的最終目標(biāo)是實(shí)現(xiàn)更高效的AI硬件，該硬件系統(tǒng)具有低功耗、高速、高分辨率、高識(shí)別準(zhǔn)確率和大規(guī)模集成的特點(diǎn)，同時(shí)具有可編程性。另外，為了將感存算一體化智能成像系統(tǒng)商業(yè)化，需要在物理學(xué)、材料學(xué)、計(jì)算機(jī)科學(xué)、電子學(xué)和生物學(xué)等領(lǐng)域進(jìn)行更深入的研究。

近年來，人工智能（AI）的應(yīng)用變得越來越廣泛，其發(fā)展也隨著生物學(xué)、數(shù)學(xué)的進(jìn)步而日漸成熟。然而，AI的發(fā)展也對(duì)系統(tǒng)的計(jì)算能力和能量效率提出了更高的要求，因此迫切需要新的硬件架構(gòu)來滿足AI的需求。AI的目標(biāo)是使機(jī)器獲得類似人的智能，當(dāng)前的硬件體系在執(zhí)行計(jì)算時(shí)仍然基于傳統(tǒng)的馮·諾依曼架構(gòu)。首先通過傳感器得到物理信號(hào)，然后將信號(hào)傳輸至計(jì)算中心結(jié)合算法進(jìn)行感知，這種信息處理的模式與人腦完全不同。以視覺為例，人類的視覺系統(tǒng)（包含視覺皮層）是高度緊湊和高效的，其中，視網(wǎng)膜上的數(shù)億光敏神經(jīng)元與預(yù)處理、控制神經(jīng)元相連接，能夠?qū)崿F(xiàn)感光和信號(hào)預(yù)處理（增強(qiáng)圖像、提取特征等）。一旦光敏神經(jīng)元檢測(cè)到冗余信號(hào)，視覺系統(tǒng)會(huì)將其弱化，僅將關(guān)鍵信息傳輸至大腦皮層進(jìn)行深度處理。

目前常用的人工成像硬件系統(tǒng)的功能并不像人類視覺系統(tǒng)那樣，如電荷耦合器件（CCD）陣列和互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）陣列，這類傳感器通過總線將圖像數(shù)據(jù)串行傳輸至存儲(chǔ)器和處理單元進(jìn)行交互運(yùn)算（即馮·諾依曼架構(gòu)）。

盡管當(dāng)前的成像硬件系統(tǒng)在傳感單元密度、響應(yīng)時(shí)間和波長(zhǎng)范圍方面優(yōu)于人類視覺系統(tǒng)，但在執(zhí)行復(fù)雜AI任務(wù)時(shí)，它們的功耗和延時(shí)變成了不可忽略的問題。在大多數(shù)圖像處理任務(wù)中，超過90%的圖像數(shù)據(jù)是冗余且無用的，隨著像素?cái)?shù)量的快速增長(zhǎng)，數(shù)據(jù)冗余量顯著增加，給模數(shù)轉(zhuǎn)換（ADC）和數(shù)據(jù)傳輸帶來了嚴(yán)重負(fù)擔(dān)，并限制了實(shí)時(shí)圖像處理技術(shù)的發(fā)展。因此，AI的發(fā)展會(huì)迅速消耗硬件資源，并產(chǎn)生對(duì)新型硬件系統(tǒng)的強(qiáng)烈需求。

受人類視覺系統(tǒng)的啟發(fā)，部分研究嘗試將一些處理任務(wù)轉(zhuǎn)移至圖像傳感器內(nèi)，從而實(shí)現(xiàn)原位計(jì)算，并且減少數(shù)據(jù)傳輸。

在20世紀(jì)90年代，加州理工學(xué)院的Mead和Mahowald提出了人工智能視覺芯片，他們構(gòu)想了一種可以同時(shí)獲取圖像、處理圖像的半導(dǎo)體芯片，這種芯片可以將獲取的圖像數(shù)據(jù)進(jìn)行并行處理，最終輸出處理結(jié)果。早期的視覺芯片旨在模仿視網(wǎng)膜的預(yù)處理功能，但只能實(shí)現(xiàn)簡(jiǎn)單圖像處理，如圖像濾波和邊緣檢測(cè)，而后逐漸提出在傳感器內(nèi)部實(shí)現(xiàn)復(fù)雜圖像處理，包括圖像識(shí)別和分類，這也成為了人工智能視覺芯片的目標(biāo)。此外，在2006年提出視覺芯片需要具備可編程功能，從而通過軟件控制靈活地處理各種應(yīng)用場(chǎng)景。在2021年，Liao等總結(jié)了生物視網(wǎng)膜的原理，并討論了基于新興器件的智能視覺傳感器發(fā)展。Wan等概述了用于神經(jīng)擬態(tài)傳感計(jì)算的電子、光學(xué)以及混合光電計(jì)算技術(shù)。

目前有兩種主要的智能視覺芯片架構(gòu)。

（1）架構(gòu)一：傳感單元內(nèi)部計(jì)算。這種架構(gòu)的光電探測(cè)器被置于模擬存儲(chǔ)器和計(jì)算單元中，以組成處理元件（PE），然后利用PE電路來實(shí)現(xiàn)原位傳感功能，并處理傳感器獲得的模擬信號(hào)。這種架構(gòu)如圖1（a）所示，其優(yōu)勢(shì)在于具有高度并行處理速度。然而，模擬存儲(chǔ)器和計(jì)算單元占用了較大的面積，使得PE電路比傳統(tǒng)傳感單元大得多，這導(dǎo)致像素填充因子較低，并限制了成像分辨率。

（2）架構(gòu)二：傳感單元附近計(jì)算。由于較低的填充因子，視覺芯片難以采用原位傳感和計(jì)算相結(jié)合的架構(gòu)。相反，將像素陣列和處理電路物理分離，但仍然保持片上并行連接，這使得二者可以根據(jù)系統(tǒng)要求進(jìn)行獨(dú)立設(shè)計(jì)和優(yōu)化。這種架構(gòu)如圖1（b）所示，首先通過總線從像素陣列中獲取傳感數(shù)據(jù)（模擬），并轉(zhuǎn)換成數(shù)字信號(hào)，然后在附近的處理單元內(nèi)進(jìn)行計(jì)算。這種架構(gòu)具有廣域圖像處理、高分辨率和大規(guī)模并行處理的優(yōu)勢(shì)，并且可以在數(shù)字處理電路中結(jié)合現(xiàn)有的AI算法（包括人工神經(jīng)網(wǎng)絡(luò)等）。

目前，視覺芯片的神經(jīng)元規(guī)模只有102~103個(gè)，遠(yuǎn)少于視網(wǎng)膜和皮層（1010個(gè)），因此，感存算一體化智能視覺芯片需要更大規(guī)模的集成。其中一種方法是通過片上光學(xué)卷積神經(jīng)網(wǎng)絡(luò)（CNN）和光學(xué)脈沖神經(jīng)網(wǎng)絡(luò)（SNN）實(shí)現(xiàn)大規(guī)模高并行運(yùn)算，以顯著提高計(jì)算效率。另一種方法是采用三維（3D）集成技術(shù)，使用硅通孔（TSV）垂直集成空間中的功能層（傳感器、存儲(chǔ)器、計(jì)算、通信等）。在2017年，索尼提出了一種3D集成視覺芯片，像素分辨率為1296×976，處理速度達(dá)到1000 fps。部分研究人員認(rèn)為，3D集成芯片已經(jīng)成為一種必然趨勢(shì)，但在架構(gòu)設(shè)計(jì)和引線互連等方面仍然需要更深入的研究。研究證明，雖然短互連可以降低功耗和延遲，但由于層間距離較短可能會(huì)導(dǎo)致散熱難題。因此，解決3D集成的可靠性問題和提高性能至關(guān)重要。

圖1. 視覺芯片架構(gòu)。（a）傳感單元內(nèi)部計(jì)算；（b）傳感單元附近計(jì)算。CDS：雙精度采樣。

近些年來，在AI發(fā)展需求的驅(qū)動(dòng)下，涉及新型材料和先進(jìn)器件的技術(shù)不斷涌現(xiàn)，也為感存算一體化智能成像系統(tǒng)提供了新方案。

（1）具有探測(cè)和記憶功能的材料（DAM）。

光電突觸器件被視為構(gòu)建感存算一體化智能成像系統(tǒng)的一種方式，并有望促進(jìn)視網(wǎng)膜仿生技術(shù)的發(fā)展。研究發(fā)現(xiàn)，一些金屬氧化物（氧化物半導(dǎo)體、二元氧化物等）、氧化物異質(zhì)結(jié)和二維（2D）材料在實(shí)現(xiàn)光電突觸器件方面有巨大的潛力。光電突觸具有臨時(shí)記憶能力和突觸可塑性，如短時(shí)程可塑性（STP）和長(zhǎng)時(shí)程可塑性（LTP），可以通過光信號(hào)進(jìn)行調(diào)制以完成實(shí)時(shí)圖像處理。這類器件有許多優(yōu)點(diǎn)，它提供了一種非接觸式的寫入方法（光寫入），權(quán)重寫入過程具有高速并行的特點(diǎn)。

然而，這類器件仍然面臨一些挑戰(zhàn)，包括脈沖寫入下電導(dǎo)非線性變化和由于較大的照明強(qiáng)度而導(dǎo)致的高能耗。在寫入過程中，光刺激用于實(shí)現(xiàn)增強(qiáng)突觸活性，而電刺激用于抑制突觸活性。具體來說，器件的電導(dǎo)在光脈沖作用下逐漸增加，而在負(fù)電脈沖作用下則逐漸減小，這類似于生物突觸中的增強(qiáng)和抑制，器件的電導(dǎo)變化對(duì)應(yīng)突觸的活性變化。此外，研究指出負(fù)光響應(yīng)或者光刺激用于抑制突觸活性可以實(shí)現(xiàn)全光調(diào)制的復(fù)雜神經(jīng)功能。目前大多數(shù)研究側(cè)重于在器件中模擬突觸行為[如興奮性突觸后電流（EPSC）、成對(duì)脈沖易化（PPF）、STP、LTP等]，因?yàn)槟７氯搜垡暰W(wǎng)膜神經(jīng)元仍然是一大挑戰(zhàn)。

為了模仿視網(wǎng)膜，光電突觸器件的大規(guī)模集成有待進(jìn)一步研究。在DAM材料中，基于二元氧化物（如ZnO、HfO2、AlOx等）的器件具有結(jié)構(gòu)簡(jiǎn)單和CMOS兼容性的優(yōu)點(diǎn)，這是大規(guī)模集成的關(guān)鍵因素。相反，與集成電路（IC）基礎(chǔ)結(jié)構(gòu)不兼容的材料可以通過采用異質(zhì)集成、異質(zhì)外延、鍵合和三維異質(zhì)集成等技術(shù)來實(shí)現(xiàn)。

（2）結(jié)合傳感器與存儲(chǔ)器的器件結(jié)構(gòu)。

近些年來，隨著半導(dǎo)體器件的發(fā)展，部分研究提出采用先進(jìn)器件代替PE電路，如新型存儲(chǔ)器件[如阻變存儲(chǔ)器（RRAM）和其他憶阻器等。例如，兩類器件通過串聯(lián)的方式來實(shí)現(xiàn)固有特性的結(jié)合，使傳感器陣列具有可編程性，并且將光學(xué)圖像轉(zhuǎn)變?yōu)橐子谧R(shí)別的信息。

這種結(jié)構(gòu)將單個(gè)像素的占地面積顯著降低到4F2的理論極限（F是工藝的特征尺寸），可以實(shí)現(xiàn)高填充因子的集成方式。然而，與CCD不同的是，該陣列不顯示破壞性讀出，也不顯示任何積分行為。在該陣列中，乘加運(yùn)算（MAC）可以通過模擬域中的基爾霍夫定律直接實(shí)現(xiàn)。然而，大規(guī)模集成引起的串?dāng)_是一個(gè)亟待解決的問題。有研究報(bào)道了一種由單光子雪崩二極管（SPAD）和憶阻器組成的系統(tǒng)，用于處理脈沖事件形式的信息，從而完成實(shí)時(shí)成像識(shí)別。

隨著新型材料與器件的發(fā)展，感存算一體化智能成像系統(tǒng)也同樣需要新的架構(gòu)和算法來適配其應(yīng)用。

例如，深度學(xué)習(xí)算法（如DNN、CNN、SNN等）是目前較為成熟的圖像處理技術(shù)，而如何將其應(yīng)用于感存算一體化智能成像系統(tǒng)是一個(gè)亟待解決的難題。SNN通過對(duì)時(shí)間并行編碼的神經(jīng)信號(hào)進(jìn)行編碼和處理，為提高計(jì)算效率提供了一種很有前景的解決方案。

本文總結(jié)了感存算一體化智能成像系統(tǒng)中使用的兩種不同類型的架構(gòu)（即在傳感單元內(nèi)或附近進(jìn)行計(jì)算），然后討論了未來的發(fā)展方向（包括與算法匹配的架構(gòu)、3D集成技術(shù)、新型材料和先進(jìn)器件）。總之，感存算一體化智能成像系統(tǒng)的最終目標(biāo)是實(shí)現(xiàn)更高效的AI硬件，該硬件系統(tǒng)具有低功耗、高速、高分辨率、高識(shí)別準(zhǔn)確率和大規(guī)模集成的特點(diǎn)，同時(shí)具有可編程性。為了將感存算一體化智能成像系統(tǒng)商業(yè)化，需要在物理學(xué)、材料學(xué)、計(jì)算機(jī)科學(xué)、電子學(xué)和生物學(xué)等領(lǐng)域進(jìn)行更深入的研究。

審核編輯：劉清