汽車、機場、火車站、馬路、工廠、電子產品...攝像頭可以說隨處可見。汽車上的攝像頭可以幫我們探測路況，建筑內的攝像頭可以保護我們的安全，自動化工廠內的攝像頭可以幫助提高貨物的質量和吞吐量。無論是哪種應用場景，相機制造商和發燒友們都在追求更高的圖像分辨率，也就等同于更貴的鏡頭。

人工智能(AI)算法正在為大家提供一種追求更高分辨率的全新方式。AI算法能夠顯著提高拍攝圖像的清晰度和整體質量，而且成本更低。這項技術適用于所有攝像頭，包括普通相機、單反、汽車、無人機、監控系統，甚至門鈴和ATM機。

現在幾乎所有電子系統中都會嵌入攝像頭，那么在攝像頭中引入人工智能技術無疑是個好消息。今天我們將一起探討用于攝像頭中的各種神經網絡，以及攝像頭、鏡頭與神經網絡網絡之間應該如何匹配以達到最佳效果。

用于圖像處理的神經網絡

隨著數字成像技術的出現，比特和字節取代了膠片，像素數成為衡量圖像質量的指標。圖像中的微小色點越多，圖像分辨率就越高。在傳統相機上，鏡頭將光聚焦到膠片上，從而形成圖像。而在數碼相機中，則由圖像傳感器將光轉換為電荷，其中圖像傳感器通常為互補金屬氧化物半導體(CMOS)或電荷耦合器件(CCD)。

CMOS圖像傳感器通常用在智能手機中，它由彩色濾光片層提供顏色，同時由光電二極管將光轉換為電信號，最終形成數字圖像。在人工視覺和圖像識別等部分應用中，CMOS傳感器與片上圖像處理電路配合使用來生成視覺圖像。而CCD圖像傳感器多見于機器視覺系統中。CCD是集成電路上的晶體管光傳感器，它負責整合接收到的光，并將電子轉換為電信號，然后由相機最終以視頻或靜態圖像格式輸出。

維也納工業大學(TU Wien)研發了一款內置神經網絡的超高速圖像傳感器，在經過訓練后，該傳感器可在幾納秒時間內識別某些對象。研發人員指出，該芯片無需電腦來讀取和處理任何圖像數據，因而在科研或其他專業領域中具有很大的應用潛力。目前，神經網絡通常在嵌入式視覺處理器或神經處理單元(NPU)上運行，用來改進圖像質量、面部識別等各種功能。

深度學習神經網絡用于多種不同的應用：智能揚聲器的語音識別、移動設備的面部識別、自動駕駛汽車的行人檢測等等。它們的價值在于能夠靈敏地識別數據集內的模式，而且常常優于人工方式。有多種不同類型的神經網絡適用于攝像頭應用，借助這些神經網絡，可讓模糊圖像變得清晰，提供更鮮明的色彩，以及消除圖像黑邊。

此外，它還有一個非常先進的功能，即可以針對人們感興趣區域進行分隔和自動計算，執行特定的任務，比如，在監控系統中，神經網絡能夠生成特征圖，突出顯示圖像的最相關部分，以及提供人臉的清晰顯示;神經網絡還可以在街景圖像中對行人進行計數，而不會對天空圖像執行這一操作。通過僅處理圖像中用戶感興趣的區域，這些算法可以幫助減少所需的內存和計算資源數量，這也是邊緣應用的一項重要考慮因素。

適用于視覺應用的幾種主要神經網絡包括：

卷積神經網絡(CNN)：作為最流行的圖像處理算法之一，CNN可以提供高精度的對象分類，其用于學習的數據集相對較小

循環神經網絡(RNN)：RNN能夠從數據序列學習非常復雜的關系，以此為序列建模，同時可在圖像處理中用于圖像分類

Transformer：Transformer最初用于語音和自然語言處理，能夠通過自注意力機制，提供出色的視覺結果;與CNN相比，它能夠更詳盡地提取圖像特征;但是，它們訓練所需的數據集要大得多(通常在云端)

對于攝像頭應用而言，每種神經網絡都各有優劣。過去幾年的實踐表明，CNN是最適合大規模應用的神經網絡，特別是在邊緣應用中。目前，結合使用CNN和Transformer神經網絡來處理感興趣區域的方案可以獲取更準確的結果。

在追求質量的同時

平衡成本和功耗

決定使用哪種類型的神經網絡，并選擇攝像頭鏡頭，是一個非常復雜的命題，需要在功耗和成本方面進行一些權衡。

鏡頭價格越貴，提供的分辨率就越高。如今智能手機可以提供超過100MP+的分辯率，從而為機器視覺系統提供更高的精度，使其能夠在更遠距離之外看到更多物體。人工智能也能夠在這個領域發揮作用。開發者無需采用成本高昂的100MP+分辯率鏡頭，而是可以選擇成本更低、分辨率更低的鏡頭，再結合使用神經網絡來提升圖像，從而提高圖像清晰度。

在決定使用哪種神經網絡和鏡頭時，可以先參考下以下幾個比較關鍵的問題：

對視覺靈敏度的要求有多高?

想要通過哪些方面的提升來放大圖像或者提高圖像的質量?

對于最終應用來說，低功耗是關鍵標準嗎?

通常，通過試驗和試錯，以及建模和模擬，開發者們可以選擇出最適合最終應用的神經網絡和鏡頭。

要對神經網絡進行功耗估算，首先要了解相關硬件的性能表現。在這方面，開發者們可以使用建模，不過要注意，建模必須盡可能接近于最終產品，這一點非常重要。有些開發者會運用大量的定制和行業標準算法來了解特定硬件的一系列不同功耗值。

為了更好地了解系統性能，原型和仿真技術能夠為建模工作提供支持。比如，新思科技的ZeBu仿真系統就可以為運行神經網絡的SoC系統的功耗進行精確建模。

神經網絡的復雜度不斷提高，這些系統的輸入數據量也在不斷增加(例如像素數和色彩分辨率)。為了滿足對更高帶寬、高效數據傳輸、大型計算和內存陣列的需求，新思科技憑借在人工智能開發領域的深厚知識，提供了一系列的底層技術產品組合：

高帶寬傳感器接口，如MIPI IP，以及MIPI的驗證IP

ARCEV嵌入式視覺處理器，完全可編程，有可配置的內核，成本和功耗適合嵌入式人工智能應用，帶有可選的高性能深度神經網絡(DNN)加速器，適用于CNN和RNN

ARCNPX NPU IP，業界最領先的NPU IP，計算能力達到3,500 TOPS，支持高度復雜的最新神經網絡模型，滿足人工智能應用的實時計算和超低功耗要求。

DSO.ai，用于芯片開發的自主人工智能應用程序，可在巨大的求解空間內，為復雜SoC搜索最優目標，包括那些用于工智能應用的SoC。

從能夠拍攝精美人像照片的智能手機，到能夠密切監控路況的汽車，再到視覺敏銳的監控系統，以及支持高效生產的自動化工廠，越來越多的應用都要使用攝像頭。攝像頭應用也在更多地利用人工智能算法來提高圖像質量。各種神經網絡相繼問世，以滿足各種嵌入式視覺需求，它們能夠達到以前只有高成本鏡頭才能提供的高圖像分辨率。除此之外，開發者們需要在神經網絡類型、攝像頭鏡頭、傳感器、內存接口、高效處理器和其他底層技術之間取得平衡。

人們越來越離不開高分辨率的圖像識別，而開發者們也在一直為此而努力。通過神經網絡與硬件之間的優化組合，用戶最終能夠拍攝的照片會更精美，汽車和建筑可以更安全，自動化工廠內的貨物也能更高質量地高效生產。

審核編輯：湯梓紅