3D成像（3D imaging）技術問世已有幾十年之久，但商用產(chǎn)品卻在本世紀初才開始上市。起初，電影制作公司使用最新高分辨率攝影機制作3D影片；在那之后，3D成像技術發(fā)展迅速，橫掃消費品市場與機器視覺產(chǎn)業(yè)。

第四次工業(yè)革命對目前的流程監(jiān)控與自動化規(guī)模提出了前所未有的要求，也為3D視覺帶來了新的發(fā)展驅動力。傳統(tǒng)的2D視覺方法已無法滿足復雜物件識別與尺寸標示應用的精確度與測距要求，日益難以因應越來越多的人機協(xié)同工作等復雜互動狀況。本文回顧工業(yè)市場的3D成像技術，探討為何飛行時間法（Time of Flight，ToF)成為當前最具發(fā)展前景的方法，最后概述ToF系統(tǒng)專用的CMOS圖像傳感器最新發(fā)展。

3D成像概述取得3D圖像主要有四種方法，包括立體視覺法（Stereo Vision）、結構光法（Structured light）、激光三角法（Laser triangulation）以及ToF。后三種方法屬于自動成像系列，需要用到人造光源。

立體視覺法

立體視覺法需要安裝兩臺攝影機來取得物件的不同視角（圖1）。采用校正方法調(diào)整攝影機與準確深度信息之間的像素信息使之一致，這類似于大腦目測距離的原理。因此，在系統(tǒng)中融入認知過程仍離不開大量的運算工作。

立體視覺法采用標準圖像傳感器，因而降低了成本。傳感器越復雜（例如高性能傳感器或全域快門裝置），系統(tǒng)成本越高。其應用的距離范圍受到機械局限的限制：過程中需要一條實體基準線，因而需要更大尺寸的模組，同時還需要精確的機械對準與重新校正。此外，此方法不適用于光線條件差或變化不定的情況，很大程度上取決于物件的反光特性。

圖1 立體視覺（來源：Tech Briefs）

結構光法

在結構光方法中，預先確定的光圖案被投射于物件上，然后通過分析圖案如何失真變形而取得深度信息。由于frame周期并無概念上的限制，也不至于造成任何動作模煳不清，對于多路徑界面非常適用。然而，自動照明要求配置復雜的攝影機，以及在鏡頭與圖形投影儀之間提供精確、穩(wěn)定的機械校正功能。此外，這種方法存在著標定降級（de-calibration）的風險，反射的圖案對于環(huán)境中的光干擾非常敏感，而且也僅限于室內(nèi)應用。

圖2 結構光法（來源：University of Kentucky、Laser Focus World）

激光三角法

激光三角法針對一條光束的幾何偏移量進行測量，其數(shù)值與物件高度相關。這是一種基于物件掃描的單維成像方法。激光點出現(xiàn)于攝影機視野范圍內(nèi)的不同位置，具體取決于激光打在物件表面的距離范圍。由于激光點、攝影機與激光發(fā)射器形成了一個三角形，因此這種方法被稱為三角法。

圖3 激光三角法位移與位置監(jiān)控應用要求高準確度、高穩(wěn)定性以及低溫度變化，因此，一般采用高分辨率激光。激光三角法的缺點在于這種方法只能覆蓋到一段較小的距離范圍，易受環(huán)境光線影響，并且僅限制于掃描應用。同時，它需要用到復雜算法與校正，而且受到結構性或復雜表面的影響。

飛行時間法

此方法體現(xiàn)了在攝影機與場景之間，通過光子雙向飛行時間直接獲取或計算距離的所有測量實施方法——可通過直接飛行時間法（D-ToF）或間接飛行時間法（I-ToF）測量方式執(zhí)行。D-ToF的概念很簡單，但需要配置復雜且具有限制時間解析（time-resolved）的裝置；I-ToF的操作更簡單：光源與圖像傳感器同步。光的脈沖以與攝影機快門一致的相位發(fā)射。采用光脈沖去同步化作用計算光子飛行時間，就能推導出發(fā)射點與物件之間的距離。

圖4 ToF工作原理這確保我們能夠對每個像素的深度與幅度進行直接測量。這種圖像稱為深度圖像。該系統(tǒng)具有較小的高寬比，只需一次校正，即可在環(huán)境光線條件下運作良好。不足之處在于它需要主動照明同步，而且可能出現(xiàn)多路徑干擾與距離混疊。

3D成像技術方案比較

每種方法都具有各自不同的優(yōu)缺點，如表1。

表1 常用的3D成像技術比較

目前，3D系統(tǒng)的應用尚未普遍，因此主要采用3D立體視覺法、結構光攝影機或激光三角法系統(tǒng)。這些系統(tǒng)在固定的工作距離內(nèi)運作，針對特定的測距區(qū)域則需要進行大量的校正工作。ToF系統(tǒng)可克服這些方面的挑戰(zhàn)，從應用面提供更大的靈活性。目前，由于像素的復雜度或耗電問題，大部份的商用解決方案仍受限于采用視頻圖形陣列（VGA）或更低的圖像分辨率。

飛行時間法的CMOS圖像傳感器方案看好ToF的應用前景，Teledyne e2v開發(fā)出首款3D ToF解決方案，支持130萬像素分辨率深度以及1英吋光學格式，并配置高靈敏度、高動態(tài)范圍的CMOS圖像傳感器。

這種ToF途徑可實現(xiàn)灰階圖像與深度融合功能：

- 先進的130萬像素深度圖解析度：全分辨率的深度圖，準確度達±1cm、速度快

- 可獲取快速移動的物件3D圖像：速度高達120格/秒(fps)，30fps的分辨率深度圖、全域快門效率高

- 3D檢測范圍大：0.5~5m，支持90dB高動態(tài)范圍(HDR)

- 可見光與近紅外光(NIR)高靈敏度傳感器：850nm波長時量子效率約50%，支持HDR：夜間/日夜視覺

- 嵌入式3D處理：多個感興趣區(qū)域(multi-ROI)——雙視窗、像素合并(binning)、芯片長條圖資料統(tǒng)計功能

最新開發(fā)的展示平臺可用于評估以深度圖或點云格式輸出的獨特1.3MP深度分辨率。

如圖5所示的ToF系統(tǒng)展示平臺由一個精巧的1英吋光學成像系統(tǒng)構成，配置高靈敏度的1.3MP圖像傳感器。該平臺內(nèi)建多整合芯片功能(閘極傳感器)、光源以及相關光學元件，并以1.3MP全分辨率實現(xiàn)ToF成像。

圖5 ToF展示平臺（來源：Teledyne e2v）

采用ToF的5T CMOS圖像傳感器主動成像

主動成像使用同步光源。輔助自動對焦功能是主動成像的簡單形式，可見于低光條件下采用紅外光測距的現(xiàn)代攝影機中。主動成像可應用于惡劣天氣條件(如下雨或起霧時)。而采用同樣的傳感器則可能實現(xiàn)兩種主動成像方法：距離選通法與ToF。距離選通法(range gating)結合了兩種組成：脈沖光波前端裝置與一臺專業(yè)高速快門攝影機。首先將光線發(fā)射至目標物件，當反射光從反射表面返回時，攝影機高速電子快門適時地開啟。距離選通成像可依據(jù)光與傳感器的同步特性選擇圖像平面距離。因雨天、多霧或霧氣粒子彌漫的環(huán)境導致目標物件與攝影機隔離時，部份光子仍得以穿過介質(zhì)返回攝影機。這些光子被稱為「彈道光子」(ballistic photon)。雖然這類光子數(shù)量較少，但可同步獲取這些光子，因此可通過散射介質(zhì)進行成像。距離選通方法可在遠距離成像，且?guī)缀醪皇苋魏蜗拗疲唧w也取決于光源的強度。飛行時間法(ToF)的工作原理不同于距離選通。它可以直接測量ToF光線，從而推導出反射面的距離。由于物件與攝影機之間距離短，因此，基于ToF的系統(tǒng)需要配置一個全域快門攝影機。相較于主動成像，ToF并非聚焦于特定的圖像平面，因而能在理想范圍內(nèi)直接成像。如圖6所示，距離選通圖像獲取的建置主要依據(jù)同步的攝影機光源系統(tǒng)。它能在主/從模式下運行，具體采用哪種模式取決于應用環(huán)境的狀況。攝影機配置了快速的全域快門，速度快達數(shù)百納秒(ns)。光源根據(jù)T0時間點攝影機的觸發(fā)情況發(fā)射光脈沖。經(jīng)過一段時間后(T1)，光脈沖到達此距離范圍，并根據(jù)是否存在物件而發(fā)生反射與否。在發(fā)生反射的情況下，光線在T2期間返回攝影機；在此情況下，T3 = T0 + 2 τ，其中τ是攝影機快門開啟并獲取到反射信號的返程飛行時間。在信號格的時間內(nèi)，這種周期過程周而復始幾千次，最終累積到足夠的信噪比(SNR)。產(chǎn)生的圖像為灰階圖像，且僅與出現(xiàn)在距離范圍內(nèi)的物件一致。為了產(chǎn)生一個深度圖像，必須在距離選通模式下掃描多個深度以取得一組圖像，或調(diào)整延遲時間。然后根據(jù)這組圖像計算各個點的距離。

圖6 距離選通工作原理圖7描述了全域快門的像素傳感器結構，以及其產(chǎn)生短曝光與信號同步的原理。最簡單的全域快門形式采用五個電晶體(5T)構成的像素，以及一個專用相位驅動器。因此，信號積分相位并不是一次性完成的，而是隨著同步多次積分而逐漸形成的。

圖7 全域快門像素結構Teledyne e2v的專利技術基于5T像素結構與計時產(chǎn)生器，以實現(xiàn)Δt周期(Δt周期縮短至10ns左右)。這表明在暫態(tài)分辨率方面已獲得了巨大的提升。支持高靈敏度/低雜訊的1.3MP CMOS圖像傳感器正配置了這項功能，并帶有多暫態(tài)積分模式(又稱「累積」模式)。此外，在圖像傳感器還需要有高寄生電荷靈敏度(PLS)，也稱為「消光比」(extinction ratio)，能避免攝影機選通「關閉」期間的雜散光線，進而獲得清晰的圖像。

圖8 支持計時調(diào)整與同步電路的5T像素CMOS需要充份的「消光比」，以避免場景的背景光線

為了提高工業(yè)系統(tǒng)的有效性與自主性，視覺系統(tǒng)在視覺引導機器人與其他自主機器設備中的應用日漸增多，目前已開始采用3D視覺系統(tǒng)（如物件識別、準確度）。現(xiàn)有的幾種3D方法都各自具有優(yōu)點與限制，可取決于具體的應用要求作選擇；其中，飛行時間法（ToF）提供了非凡的3D視角，可望推動新一代專用CMOS圖像傳感器的發(fā)展。