操控物體的機器人依靠攝像機來了解周圍的環境，但是這些攝像機通常需要經過仔細的安裝以及持續的校準和維護。

近日，由谷歌機器人技術部門和哥倫比亞大學的研究人員共同發表的一項新研究提出了一種解決方案，其中涉及一種技術，這種技術可以通過學習使用多臺彩色攝像機來完成任務而無需明確的3D表達。他們表示，與基線相比，機器人在進行困難的堆疊和插入任務上具有出色的任務性能。

這項最新工作是建立在谷歌大量的機器人技術研究的基礎之上。去年10月，谷歌的科學家發表了一篇論文，詳細介紹了一個名為Form2Fit的機器學習系統，其目的是教一個帶有吸力臂的拾取機器人將物體組裝成套件。谷歌Brain研究人員正在尋求一種新穎的機器人任務規劃技術（包括深度動力學模型或DDM），他們表示這種技術可以使機械手操控多個物體。最近，谷歌團隊又揭開了ClearGrasp的面紗，這是一種可以幫助機器人更好地識別透明物體的AI模型。

正如研究人員所指出的那樣，直到最近，大多數自動化解決方案仍都是為剛性設置而設計的，在這種剛性設置中，重復執行腳本化的機器人動作來移動到預設定的位置。這種方法需要高度校準的設置，但是這種設置可能既昂貴又耗時，并且缺乏處理環境變化所需的魯棒性。計算機視覺的進步已使機械手的抓握性能提高，但是諸如堆疊，插入和精密安裝等任務仍然具有挑戰性。這是因為他們需要對任務環境具有準確的3D幾何知識，包括物體的形狀和姿勢，位置之間的相對距離和方向以及其他因素。

相比之下，這個團隊的方法利用了多攝像機視圖和強化學習框架，可以從不同的角度獲取圖像并以閉環方式產生機器人動作。他們表示，通過直接從攝像機視圖中進行組合和學習，而無需中間步驟，從而可以改善狀態估計，同時提高系統動作的魯棒性。

在實驗中，研究人員將他們的裝置部署到一個模擬環境中，這個環境包含一個配備有抓手的kuka機械手臂，兩個放置在機器人前面的垃圾箱，以及三個可以俯瞰這些垃圾箱的攝像機。這個機械手臂的第一個任務是將一個垃圾箱與一個單獨的方塊堆疊放在一個隨機的位置，從藍色或橙色的方塊開始。而在其他任務中，機械手臂的任務是將一個木塊牢固地插入中間的固定裝置，并將方塊堆疊在另一個之上。

研究人員在10張圖形卡片上運行了180個數據收集作業，以訓練他們的強化學習模型，每次作業每小時可產生約5000次的插入任務。研究人員的報告稱他們取得了成功，并大大降低了基于精度的任務的錯誤率，尤其是第一個堆疊任務的錯誤率為49.18％，第二個堆疊任務則為56.84％，插入任務則為64.1％。

論文的合著者寫道：“有效利用多種視圖可以更全面地觀察與任務相關的潛在狀態。我們的多視圖方法可使RGB攝像機完成3D任務，而無需明顯的3D表達，并且無需攝像機-攝像機和攝像機-機器人的校準。在將來，通過學習（除任務方法之外的）攝像頭放置方法，單個移動攝像頭也可以實現類似的多視圖優勢。”