斯坦福研究人員研究出一套小型AI成像系統。成像精度和速度均達到電子計算處理器水平，它采用雙層光學-電子混合計算技術，在低光照條件下具備更強的成像能力，每個立體像素上的光電子密度最高可達幾十個，同時節約了大量本該用于計算的時間和成本。

如今，自動駕駛汽車和無人駕駛飛機背后的圖像識別技術依賴于人工智能：計算機本質上學會了自己識別物體，比如識別狗、過馬路的行人或停車的汽車。主要問題是，目前運行人工智能算法的計算機對于手持醫療設備等未來應用來說顯得過于龐大和緩慢。

現在，斯坦福大學的研究人員已經設計出一種新型的AI相機系統，它可以更快、更高效地對圖像進行分類，有朝一日，這種系統可以小到足以嵌入設備本身，這在今天是不可能實現的。這項研究發表在8月17日的Nature Scientific Reports上。

“自動駕駛汽車的后備箱里有一臺體積相對較大、速度相對較慢、能耗較高的電腦。”該研究負責人、斯坦福大學電氣工程助理教授Gordon Wetzstein表示，未來的應用程序將需要更快、更小的設備來處理圖像流。

AI相機：雙層光電混合計算機

現在，Wetzstein和論文第一作者、研究生Julie Chang朝著這一技術邁出了一步，他們將兩種類型的計算機結合在一起，創造了一種專為圖像分析設計的光電混合計算機。

原型相機的第一層是一種光學計算機，它不需要數字計算的高功耗數學運算。第二層是傳統的數字電子計算機。

光學計算機層通過物理預處理圖像數據進行操作，以多種方式對其進行過濾，否則電子計算機就必須用數學方法對其進行過濾。由于過濾是在光線穿過自定義光學時自然發生的，所以這一層的輸入功率為零。這為混合系統節省了大量的本該用于計算的時間和能量。

“我們已經把人工智能的一些數學知識拓展到了光學領域。”Chang說。

這樣做的結果是更少的計算、更少的內存調用和更少的時間來完成這個過程。在跳過了這些預處理步驟之后，剩下的分析將以相當大的優勢進入數字計算機層。“數百萬次計算都是在光速下進行的。”

成像精度和速度堪比電子計算機處理器

在速度和精度方面，這款原型機與現有的電子計算機處理器相媲美。

雖然他們目前的原型機還處在實驗臺上，不會被歸類為小型設備，但研究人員說，他們的系統有一天會被小型化，以適合手持攝像機或無人機。

在模擬和真實世界的實驗中，研究小組使用該系統成功地識別了飛機、汽車、貓、狗等自然圖像。

Wetzstein說：“我們系統的某些未來版本在自動駕駛汽車等快速決策應用中尤其有用。”

除了縮小原型尺寸之外，Wetzstein, Chang和他們在斯坦福計算機成像實驗室的同事們現在正在尋找方法使光學元件做更多的預處理。最終，他們要用更小、更快的技術將取代現在在自動駕駛汽車、無人機和其他識別周圍世界的設備上使用的計算機。

相關原理及論文

卷積神經網絡（CNN）在各種計算機視覺應用中表現出色，但其高性能也伴隨著高昂的計算成本。盡管人們可以通過算法和專用硬件來提高效率，但由于能源預算緊張，在嵌入式系統中部署卷積神經網絡仍然很困難。

我們在本文中探索一種互補策略，在電子計算之前加上一層光學計算，以提高圖像分類任務的性能，同時增加最小的電子計算成本或處理時間。我們提出了一種基于優化衍射光學元件的光學卷積層設計，并在兩個模擬測試中驗證了我們的設計：經過訓練的光學相關器，以及光電雙層卷積神經網絡。我們在仿真模型和光學原型中證明，我們的光學系統的分類精度可以與類似的電子計算方案相媲美，同時大大節省了計算成本。