隨著增強現實技術日益火紅，深度跟蹤攝像頭即將出現在旗艦級手機上，現在是時候改進計算機跟蹤它們所看到的人的運動軌跡的方式了——即使這意味著要“剝光”他們的衣服。有一種新的計算機視覺系統可以做到這一點，聽起來可能有點讓人毛骨悚然，但它肯定有它的用處。

最基本的問題是，如果你要捕捉一個人的動態，比如在一部電影里或者在增強現實游戲里，系統會覺得有些模糊，因為他/她穿著衣服。你覺得動作捕捉演員為什么要穿緊身衣呢？因為他們如果穿諸如JNCO牛仔褲的褲子的話，系統會很難準確地判斷他們的腿在哪里。

同樣的，穿裙子、夾克或者背個背包也會引起那樣的困惑——基本上除了什么都不穿以外，不管穿什么都會干擾電腦準確判斷你身體的位置。

上述多機構項目將會在鹽湖城的電腦視覺及圖形辨識（CVPR）大會上進行演示，它結合了深度數據和關于身體姿勢如何形成和它能做什么的智能假設。其產生的結果是一種X線視覺，可以揭示一個人衣服底下的身體的形狀和位置，即使是在像跳舞這樣的快速動作中，該系統也能實時運作。

項目論文基于兩種已有的方法——DynamicFusion（動態融合）和BodyFusion（身體融合）。第一種方法使用單攝像頭深度數據來判斷身體的姿勢，但不適合處理快速的移動或者遮擋;第二種方法使用骨架來判斷姿態，但同樣在快速運動時失去方向。研究人員將這兩種方法結合成“DoubleFusion”（雙重融合），本質上是從深度數據中創造出一種似是而非的骨架，然后在離核心適當的距離內用皮膚“包裹”骨架。

如上圖所示，來自攝像頭的深度數據與人的一些基本參考圖像結合在一起，產生了一個骨架，并跟蹤了身體的關節和端部。最右邊則是三種方法DynamicFusion（b），BodyFusion（c）和DoubleFusion（d）分別產生的效果圖。

這些結果比任意其中一種方法單獨產生的結果都要好得多，似乎從各種各樣的姿勢和服裝中都能產生很好的體態：

不管是連帽衫、耳機還是寬松的衣服，都無法阻擋DoubleFusion的“全視之眼”看穿一切。

然而，該方法存在一個不足：如果你穿了很多衣服，它往往會過度估量你的身材大小——沒有簡單的方法來判斷一個人的體形是否很寬，或者他們是否只是穿著一件厚實的毛衣。當你與一個獨立的物體（比如一張桌子或游戲控制器）進行互動時，它就不能很好地運作了——它可能會試圖把物體解讀為肢體的奇怪延伸。研究團隊已將處理這些異常情況納入未來的研究范疇。

論文的第一作者是中國清華大學的陶宇（Tao Yu音譯），但來自北京航空航天大學、美國南加州大學、谷歌和馬普研究所的研究人員也有參與。

“我們相信，我們的方法的穩健性和準確性將使得許多應用得以實現，尤其是在AR/VR、游戲、娛樂甚至虛擬試穿領域，因為我們還重構了潛在的體形。”論文作者在總結中寫道，“通過DoubleFusion雙重融合技術，用戶將第一次能夠輕松地將自己數字化。”

沒有必要去否認這一技術有很多有趣的應用。但也沒有必要否認這項技術基本上就是X射線透視器。