編者按：Gibson是一個基于現實世界的虛擬環境，以支持感知學習，與游戲或人工環境不同。Gibson能讓算法同時探索感知和運動。

Gibson環境的名稱來源于Ecological Approach to Visual Perception一書的作者James J. Gibson，他曾說過：“我們必須為了移動進行感知，但同時也要為了感知而移動。”

摘要

為活動的智能體創建視覺感知模型并進行感覺運動控制是非常困難的，因為目前的算法較慢，無法進行高效的實時學習，而機器人成本較高，也很脆弱。這就催生了“在模擬中學習”的方法，隨之而來的問題是，結果能否轉移到現實世界。在這篇論文中，我們研究了在活動的智能體上對現實世界進行感知，并提出了Gibson虛擬環境，展示了從中學到的樣本感知任務。

詳細介紹

理想的機器人智能體需要具備復合的感知和物理能力，例如可以自動檢查建筑物的無人機、在受災區域迅速定位受害者的機器人或者可以安全運輸包裹的機器人等等。除了應用角度，在視覺感知和物理運動之間建立密切的聯系在很多領域都是很流行的：進化和計算機科學生物學家們曾假設，要想在復雜的行為和智能體種類中結合感知和運動，就需要一個關鍵的角色；神經科學家們認為在發展感知和保持活躍之間需要一個聯合的關系；機器人專家們也認為兩種功能應該有類似的關系。這都需要發展能夠感知的模型，尤其是具有活動的智能體的模型。

通常，我們提到的智能體可以從外界環境中接收到視覺，也能相應地實現一系列動作，可以導致環境中出現實質性的改變，或者智能體本身做出某些改變。那么應該如何、在哪里創建這樣的智能體呢？

首先，關于如何建造的問題，已經有很多相關研究了，從經典的控制問題，到最近的感知運動控制、強化學習、預測運動、模仿學習等等。這些方法通常假設給定從環境中觀察到的物體，之后制定一個或一系列動作來完成任務。

另一個關鍵問題，也就是傳感器得到的觀察從何而來。傳統的計算機視覺數據集是被動而且靜止的，雖然說從現實中學習是可能的，但這并不是理想場景，因為其中的學習速率必須是實時的，如果發生大規模并行，則會增加計算成本。機器人又很脆弱，這就導致了“在模擬中學習”的大規模出現。首要問題在于，如何自然地從對現實世界的模擬中進行泛化，如何保證：

模擬環境的語義復雜性精確地反映了現實世界；

經過渲染的視覺觀察和照相機捕捉到的影響相近（寫實）。

為了解決這一方法，我們提出了Gibson，一種為了訓練和測試智能體對真實世界理解的虛擬環境。

Gibson組成

Gibson的主要目標是幫助在現實環境中訓練的模型完成遷移，這一過程分為兩步。首先，在現實環境中表現自己的語義復雜性，并根據掃描過的真是場景構造環境，而不是根據人工渲染的環境創建。之后，嵌入一個機制，解決Gibson的渲染和真實相機之間的差異。

最后，智能體無法分辨Gibson渲染的成果和相機拍出的照片，于是二者之間感知上的差異就減少了許多。這是由于使用了基于渲染方法的神經網絡的結果，使渲染出來的圖片看上去更像真實照片，同時另一個網絡還能將真實圖像變得更像渲染出的結果。兩個函數被訓練成能產生相同的輸出，所以可以連接兩個區域。

Gibson的結構包括一個基于視覺合成的神經網絡，還有一個物理引擎。視覺合成系統的組成如圖所示：

它由一個幾何點云渲染器和神經網絡組成，可以修正偽影，填補未被覆蓋的區域。

3D輸入和幾何渲染有很多不完美的地方，而且用神經網絡得到照片一樣真實的結果似乎也不可能。所以這里和真實照片之間存在著巨大的差異。于是，我們將渲染問題看作是構建一個公共空間，保證真實圖片和渲染圖片之間是對應的。

實驗結果

Gibson所用數據集來自多種掃描設備，包括NavVis、Matterport或者DotProduct，涵蓋了多種不同的空間，例如辦公室、車庫、劇院、便利店、健身房、醫院等等。所有空間都完全用3D重建，并且經過了后處理。我們對Gibson進行了基準測試，與現有的合成數據集進行了比較，具體參數如下表：

SSA表示特殊表面區域，是用來表示模型混亂的尺度。接著，我們對比了模型對樣本的渲染效果：

從上到下依次是未經神經網絡修正的圖片、經過神經網絡修正的圖片、Goggles看到的真實圖片、目標圖片

遷移到真實環境

下圖4×4的矩陣表示了從Gibson遷移到真實場景的評估分數，(a)表示所有訓練測試結合的深度估算錯誤；(b)(c)表示MMD和CORAL分布的距離。

任務解決策略

同時經過訓練，模型可以根據獎勵設計解決任務的策略：

路線規劃及避障

遠距離導航

結語

雖然Gibson環境能讓運動中的智能體對現實世界有良好的感知，但其中仍有一些缺陷。首先，盡管Gibson可以學習復雜的導航和移動，但是目前它無法做出其他動態動作，也不能進行操控。這可以通過與合成物體結合解決。另外，我們并沒有考慮所有的材料特點，而且目前也沒有最理想的物理模擬器，這可能會導致物理之間的差距。最后，我們基本上是在靜態任務中進行遷移，未來這一模型還是要應用在真實的機器人上。