近日，奧比中光在VALSE 2021（視覺與學習青年學者研討會）上首次展示了公司自研的3D智能摳圖算法。該算法專門為直播帶貨、視頻會議等場景研發，可清晰地摳取雜亂背景下的3D人像與物品，吸引了眾多青年學者與學子駐足交流。

奧比中光研究院算法團隊負責人錢貝貝博士VALSE 2021演講時，為聽眾分享3D視覺從“感知”到“認知”的基本原理，并介紹了奧比中光在3D視覺算法方面的最新研發突破。同臺演講的企業還包括百度、騰訊優圖、美團、格靈深瞳、海康威視等。

3D智能摳圖算法首次亮相，可摳取雜亂背景中的人像與物品

奧比中光最新研發的3D智能摳圖算法實現了基于背景建模的輕量化前景摳圖，能夠實時摳取雜亂背景中的3D人像及物品，彌補了諸多2D摳圖的缺陷。另外，3D智能摳圖不限類別，并可自定義摳圖距離，過濾掉背景中不相關的人物，從而保護用戶隱私。

錢貝貝博士在演講中介紹，奧比中光通過背景+人圖軟分割的方法，設計了輕量化的Stage Block網絡框架，并基于大量數據訓練，實現了人、物與背景的精確分割，并可根據不同需求平衡摳圖的精度與速度。

圖注：奧比中光研究院算法團隊負責人錢貝貝博士在VALSE 2021發表演講。

3D智能摳圖算法有何應用場景？據了解，奧比中光這一算法專為直播帶貨、視頻會議等場景研發，還可應用在游戲渲染、場景理解、自動駕駛、目標跟蹤、混合顯示、電影制作等多元領域。

以近年來爆火的直播帶貨為例，主播往往需要將普通的辦公室、居家背景替換成華麗的直播間，借此吸引粉絲；在直播過程中，主播要在眾多品類的商品中向觀眾展示主推產品。傳統的2D摳圖算法在應對這一場景的需求時，常常會出現無法摳取物品、細節丟失、多摳背景中的無關人物等問題。

圖注：現有在線視頻會議軟件中的2D摳圖和奧比中光3D摳圖效果對比。

奧比中光的3D智能摳圖則能較好地解決以上問題。據悉，3D摳圖的基本思想就在于利用三維空間的距離信息來區分需要摳取的前景（如主播、商品、參會人員）與不需要被摳出的背景（如墻面、雜物與不相干人物）。高精度3D數據的加持為算法提供了先驗信息，有利于將細節處理得更好，同時能給完成相似紋理下的高難度摳圖，并且能通過自定義距離過濾背景人物，保護隱私。

3D視覺感知技術加速迭代，賦能多元應用開發

奧比中光自研的3D智能摳圖算法，正是公司在3D視覺感知技術領域全面布局、全棧縱深的又一次成果展示。

據悉，奧比中光作為一家3D視覺感知整體技術方案提供商，在技術縱向上對包括深度引擎芯片、感光芯片、專用光學系統等在內的核心底層技術及SDK、行業應用算法等全鏈路技術進行全棧式自主研發，并在技術橫向上對結構光、iToF、雙目、dToF、Lidar、工業三維測量進行全領域布局。

圖注：觀眾在奧比中光展位上觀看3D智能摳圖算法演示。

奧比中光此次推出的3D智能摳圖算法，很大程度上依托于公司此前在3D視覺感知技術上的積淀。如要使得算法更好地摳取人像、物品，就需要在輸入環節保證3D數據的精確度，而奧比中光研發的一系列3D攝像頭能夠為之提供硬件級支撐。

同時，奧比中光所布局的幾種3D視覺感知技術在底層原理上具有共通性，這使得算法研發過程中可以借鑒原有技術的成熟模型，在此基礎上迭代創新，實現更優的性能。

基于從感知到認知全鏈路的技術，奧比中光得以賦能智能化行業向3D化升級。奧比中光近期展出的FemtoiToF相機、3D視覺機器人開發套件等產品，可助力3D視覺行業的眾多專業人才開發各行各類3D應用，促進3D視覺行業加速發展。

fqj