如今的智能手機必須提供許多吸引用戶的功能，尤其是要滿足對高質量攝影效果，以及日益增長的增強現實（AR）/混合現實（MR）功能需求。據麥姆斯咨詢介紹，英飛凌（Infineon）基于pmd technologies的飛行時間（ToF）像素技術開發了新款長距離3D ToF圖像傳感器，可以滿足上述攝影和AR/MR的需求。

購買新款智能手機時，消費者越來越重視手機攝像頭。一方面，他們想要拍攝高質量的照片和視頻；另一方面，他們希望全面的增強現實功能，以支持AR/MR游戲領域中的新興和高級的應用功能。因此，智能手機的攝像頭已經成為購買過程中的決定性要素，并且無論在商業、教育還是工業應用中，智能手機的攝像頭都必須能夠將現實世界與數字世界聯系起來。集成飛行時間（ToF）圖像傳感器的3D攝像頭正好可以具備此項能力！

過去幾年，智能手機3D攝像頭的開發主要集中在手機正面。因為前置攝像頭對于各種高安全性和便利性應用至關重要。例如，前置3D攝像頭用于高級安全功能——3D人臉識別以及應用解鎖和移動支付。此外，前置3D攝像頭還可用于3D虛擬化身、社交媒體交互和具有特殊深度效果的攝影美化。上述功能促進了3D攝像頭在手機正面的部署應用，目前這一趨勢現已在市場上確立。

同時，具有專業品質和沉浸式AR/MR體驗的計算攝影將成為推動智能手機發展的下一個游戲規則變革者，并為在智能手機背面采用3D攝像頭提供重要機遇。這也將引發無數此類新應用的誕生，從而將進一步推動后置3D攝像頭的發展。根據Strategy Analytics預測，2025年智能手機后置ToF攝像頭市場出貨量將超過5億個（如圖1所示）。

圖1 智能手機后置3D ToF攝像頭市場預測

然而，目前AR/MR應用仍然非常有限。幾年前在游戲和3D設計中普及的AR應用，用戶在其中將虛擬角色或對象放置在場景中的某處，通常只不過是將計算機生成的視覺效果疊加到物理環境上——利用數字細節補充現實世界，從而產生有限或不沉浸的用戶體驗。在這種情況下，兩個關鍵要素只是集成攝像頭的手機和帶有合適算法的AR應用程序（App）——用于計算圖像并將其投影到手機屏幕上的場景中。但是，真正的MR將現實世界與數字元素融合在一起，使它們可以實時交互和融合。MR可以實現虛擬對象與真實對象之間更高程度的沉浸和無處不在的交互，并將虛擬圖像完美地渲染到現實世界中。MR需要在所有光照條件下實時準確地獲取3D深度數據，并且對處理能力的要求比帶有圖像疊加的簡單AR效果要高得多?；?D傳感技術的解決方案由于提供了2D攝像頭無法提供的深度細節，因而備受關注。盡管如此，但仍然存在挑戰——因為當前部署3D傳感解決方案的智能手機尚無法在不對測距范圍和功耗進行重大折衷的情況下提供理想的分辨率。

英飛凌REAL3產品組合中最新一代的3D ToF圖像傳感器現已解決了上述缺點。在詳細解釋這種新器件的優點之前，讓我們先看看ToF原理。

基于ToF原理的3D圖像傳感器

英飛凌新型REAL3 3D ToF圖像傳感器芯片利用紅外光，并采用飛行時間工作原理（圖2）。

圖2 英飛凌REAL3 3D ToF圖像傳感器的工作原理

智能手機3D攝像頭的照明系統將通常在幾十兆赫茲范圍內調制的紅外光發射到物體上，然后紅外光再反射回來被3D ToF圖像傳感器接收。3D ToF圖像傳感器的每個單獨像素都測量由照明系統發出的調制紅外光經物體反射回來的傳播時間。由于3D ToF圖像傳感器的每個像素都配備一個微透鏡，因此大部分入射光被引導到像素的敏感區域：實際上，在非活動表面上幾乎沒有光能損失，并且光學像素的靈敏度明顯更高。最后，利用算法處理測得的數據，以檢測物體的距離、大小、運動和形狀，并在此基礎上創建精確的3D模型。

英飛凌與專注于ToF技術的德國公司pmd technologies一起開發了REAL3 3D ToF圖像傳感器系列。到目前為止，只有少數公司成功地將合適的3D ToF解決方案推向了市場，因為這需要廣泛的系統能力和對ToF技術的深刻理解。英飛凌和pmd technologies自2013年以來通力合作，一直處于ToF技術的前沿領域。他們共同開發了五代3D ToF圖像傳感器，這些ToF傳感器已應用于多款智能手機、AR設備、智能家居、工業相機和汽車。

與之前的3D ToF圖像傳感器相比，第六代REAL3 3D ToF圖像傳感器經過專門優化，可以解決智能手機的痛點，從而增強拍照效果和AR/MR功能。該傳感器比前幾代產品能耗降低40%，從而提高了智能手機的電池使用壽命。這是AR/MR游戲的關鍵，例如ToF攝像頭長時間處于開啟狀態。由于具有較高的SoC集成度，因此采用這種新款3D ToF圖像傳感器的攝像頭設計可以縮小35%，從而為智能手機設計提供了更大的自由度，進而提高了成本效率。最后，新款3D ToF圖像傳感器及系統旨在提供最遠10米的深度數據，并且不會在短距離內損失高分辨率（圖3）。

圖3 英飛凌新款長距離REAL3 3D ToF圖像傳感器應用

為了達到10米的測量距離，必須顯著改變發射光的調制方法（圖4）。

圖4 可以使用兩個調制頻率精確測量距離

ToF攝像頭照明系統投射的紅外光調制頻率與深度質量/精度有關。調制頻率越高，深度質量越好，但是同時無歧義范圍（UR）也會縮小。因此，高深度精度需要高調制頻率，但是對于較長的無歧義范圍，則需要較低的調制頻率。為了解決此問題，REAL3 3D ToF圖像傳感器使用兩個不同的調制頻率。這意味著對于每個頻率都進行距離測量，然后將兩個頻率的測量值進行比較以確定物體的準確位置。這樣可以將測量范圍擴展到每個調制頻率的無歧義范圍之外。所有這些步驟都是通過pmd technologies的復雜ToF攝像頭驅動軟件完成的。

英飛凌最新一代3D ToF圖像傳感器和相關VCSEL驅動芯片使得3D成像系統能夠采用比之前更高的調制頻率對（modulation frequency pairs）。通過這種方式，深度精度得到提高，并且同時可以在長達10米的范圍內高質量地掃描周圍環境。在高達5米的距離處，甚至可以獲得4萬個深度點的高分辨率圖像（圖5）。

圖5 英飛凌新款遠距離REAL3 3D ToF圖像傳感器可提供靈活且卓越的分辨率，以在更遠的距離范圍內改善AR/MR體驗

相比之下，市場上其它可用的3D傳感解決方案只能在5米距離提供約600個深度點的分辨率，這意味著無法解決小物體的感知。憑借如此高的測距范圍和分辨率，英飛凌的3D ToF圖像傳感器系列適用于各種AR/MR應用：無論是AR/MR游戲、房間和物體的3D掃描，還是家具設計和其它設計應用的3D成像。

此外，諸如智能手機AR游戲之類的“始終在線（always-on）”應用程序尤其受益于英飛凌新款3D ToF圖像傳感器的低功耗。在新一代產品中，功耗已降低了40%，這意味著智能手機的電池運行時間將大大延長。

在所有環境光條件下提供準確可靠的深度數據

英飛凌REAL3 3D ToF圖像傳感器還有另一個重要優勢——它們在所有環境照明條件下都可以提供準確可靠的深度數據。這意味著即使在復雜的環境光條件下也可以生成高質量的深度數據。這一點變得越來越重要，尤其是在現代攝影中。為此，pmd technologies專門開發了一種專利電路，該電路集成在每個像素中，稱為“背景照明抑制（Suppression of Background Illumination，SBI）”。SBI擴展了ToF圖像傳感器芯片的動態性能，并降低了由環境光（例如陽光直射）引起的像素飽和。

弱光條件是2D攝像頭最具挑戰性的環境之一，并且會阻止高質量的夜間模式人像和快速自動對焦。圖6顯示了ToF輔助弱光條件下的人像拍攝案例，該人像具有完美的背景虛化效果。ToF輔助人像拍攝的背后秘密是新型3D ToF圖像傳感器還可以創建場景的夜視圖像，該圖像以灰度圖顯示。

圖6 在弱光條件下，英飛凌REAL3 3D ToF圖像傳感器實現具有完美背景虛化效果的ToF輔助人像拍攝

除了深度數據之外，ToF圖像傳感器的灰度數據也可以應用。同樣，分辨率也是關鍵：英飛凌新款3D ToF圖像傳感器提供清晰的夜視圖像，而同類應用中的其它商業解決方案僅提供數百個像素。圖6的中間顯示了所拍攝人像的灰度圖和深度圖，左側圖像顯示了沒有ToF輔助的2D人像照片，右側顯示了利用灰度圖和深度圖創建的背景虛化的人像照片。

最后，ToF輔助人像拍攝功能可以實現非常高效的圖像處理，因此美化效果也可以實時應用于視頻流。總之，在適當設計的3D攝像頭系統中，英飛凌3D ToF圖像傳感器可確保在所有環境光條件下（無論是在強烈的陽光照射下，還是在黑暗之中，抑或是在建筑物內或車內）都能夠可靠地工作。

用戶還可以通過I2C接口動態配置3D ToF圖像傳感器。因此，在操作期間，幀率可以像曝光時間或預定義的操作模式一樣輕松地調整，從而實現針對照明和操作環境進行功能優化。此外，智能電源管理可確保低功耗。借助3D ToF圖像傳感器，ToF攝像頭可以在生產結束后數秒內可靠地校準。

英飛凌新款長距離REAL3 3D ToF圖像傳感器尺寸僅為4.4mm x 4.8mm，因此在電路板空間有限的情況下，它是緊湊型3D攝像頭設計的理想解決方案。得益于高度集成的CMOS圖像傳感器和英飛凌VCSEL驅動芯片，英飛凌3D攝像頭方案使用的組件數量少于其它商用3D攝像頭方案，這也大大降低了3D攝像頭的成本。3D ToF圖像傳感器特性（例如編碼調制）和配置靈活性還為各種應用和多攝像頭場景提供了改進的性能和魯棒性。性能、低功耗、功能、尺寸和低成本的結合使3D ToF圖像傳感器特別適合于移動設備的3D攝像頭應用。

英飛凌新款REAL3 3D ToF圖像傳感器的高級配置性提供了差異化的3D攝像頭性能，以支持不同的測距范圍、不同的環境光條件和不同的使用情況。根據應用需求，該傳感器可實現以下功能：實時增強現實、遠程掃描、小物體重建、低功耗的快速自動對焦和圖像分割。這使得諸如視頻和圖像中的背景虛化等效果易于實現，并且與照明條件無關，無需對圖像進行復雜的后處理。

據麥姆斯咨詢介紹，作為一家全球領先的半導體制造商，英飛凌為移動和其它消費類應用提供REAL3 3D ToF圖像傳感器產品組合（如裸芯片），而系統設計及廣泛的應用需求則由設計合作伙伴負責。pmd technologies提供適用于全系列REAL3 3D ToF圖像傳感器的攝像頭驅動軟件——通過全面且通用的API輕松實現3D ToF圖像傳感器配置。新款3D ToF圖像傳感器芯片的批量供貨將于2021年第二季度開始。目前，3D ToF圖像傳感器演示套件已經可以提供。

總結

英飛凌與pmd technologies合作開發的新一代3D ToF圖像傳感器適用于多種應用領域，例如實時混合現實、增強攝影、3D對象掃描和房間重建。無論環境光條件如何，都可以輕松實現視頻和運動場景圖像的背景虛化等效果。此外，可以在長達10米的距離內進行高質量的深度數據采集，并且不會在較短距離內損失分辨率。

智能手機中的“始終在線（always-on）”應用程序（例如混合現實游戲）受益于新款3D ToF圖像傳感器的低功耗，可為用戶提供了更長的運行時間。在用于房間和對象重建的3D掃描等應用中，以及在建筑和工業室內設計等應用中，基于新款3D ToF圖像傳感器的解決方案的測量范圍是其它商用解決方案的兩倍。

原文標題：英飛凌新款ToF圖像傳感器實現先進的攝影技術和身臨其境的AR/MR體驗

文章出處：【微信公眾號：MEMS】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq