通常機器人在執行任務的時候，我們需要給它輸入一串指令，即使是強大的波士頓機器狗也需要通過編程讓其學會開門等動作，然而英偉達最近研發出一項新技術，只需要機器人觀看人類演示動作，機器人就可以模仿。這究竟是一種什么技術？

工業機器人通常都是一遍又一遍地重復已經編程好的任務，換句話說，執行任務的機器人與編寫程序的工程師之間會保持一定的安全距離。然而，越來越多的研究人員都在思考一個問題，如何讓機器人與人類的工作環境更加融合，甚至如何讓機器人向人類學習。

這也是英偉達在西雅圖的新機器人實驗室所關注的。據了解，該實驗室的研發團隊在澳大利亞布里斯班舉辦的機器人與自動化國際會議（ICRA）上展示了一些他們正在進行的關于機器人教學的研究。

Nvidia展示了一款具有突破性AI機器人，通過觀察人類的行為學習完成任務。由Stan Birchfield和Jonathan Tremblay領導的研究人員在他們的研究報告（微信后臺回復：英偉達，下載完整論文）中指出：

“通過發出指令讓機器人在真實環境中執行任務很容易， 這包括輸入期望的結果和實現該結果的最佳方式的任何提示。我們研究出了只需通過人為演示，任務以視覺的形式傳達給機器人，并提供關于如何最好地執行任務的線索，讓機器人來重復人類的動作。”

他們提出了一個可以讀取真實世界的人類演示動作的系統，并可以完成推斷和執行動作。該系統由一系列神經網絡組成，包括執行感知，程序生成和程序執行三部分。即使在嚴重遮擋的情況下，感知網絡也可以使用隨機域對合成圖像進行訓練，可靠地檢測實際圖像中物體。

在這項研究中，人類主要堆疊不同顏色的立方體，把他堆成垂直或金字塔形狀。通過一系列神經網絡學習人類可讀的程序，由機器人執行以重現演示。

首先，研究人員訓練了一系列的神經網絡來檢測積木，推斷積木之間的幾何關系，然后生成一個程序讓它反復觀察人類的每個動作。研究人員稱，這個新系統能讓他們訓練機器人在現實世界中只通過一次演示來就可以完成這個堆疊任務。

為了訓練出核心模型，英偉達團隊還使用了模擬環境來合成無數的場景數據。Birchfield和Fox強調表示，這些模擬可以快速地訓練機器人。畢竟，在現實世界中進行培訓需要更長的時間，而且還會出現危險。對于大多數任務來講，也沒有可提前參考的培訓數據。

Nvidia的這臺機器人由該公司的TITAN X顯卡支持，該顯卡擁有3584個運行頻率為1.5GHz的NVIDIA CUDA內核，整體性能達到11 TFLOPS。

使用TITAN X，研究人員訓練了一系列神經網絡來執行與感知，程序生成和程序執行相關的職責。從單一的人類演示中，機器人可以開始學著執行任務。

英偉達首席研究科學家斯坦·伯奇菲爾德（Stan Birchfield）表示：“在制造業環境中，機器人非常擅長于反復執行相同的任務，但它們無法適應環境的變化，這導致它們無法學會自己的任務。為了重新設計機器人來執行新任務，你必須讓專家對機器人的底層進行重新編程。我們感興趣的是，讓非專家型用戶更方便地通過簡單演示來教會機器人從事新任務。”

這個系統中存在一系列深度神經網絡，用于感知、規劃和控制，這些網絡使用合成的數據來訓練。

伯奇維爾德表示：“目前，機器人領域正在出現范式改變。現在，我們可以使用GPU（圖形處理單元）來生成無限量的預加標簽數據，用于開發和測試算法。這可能會幫助我們開發與周圍世界互動的機器人系統，并且規模更大、更安全。”

英偉達的這項研究發表在本周在澳大利亞布里斯班舉行的國際機器人和自動化會議（ICRA）上。

未來，如果這一技術發展成熟，是否可以應用在自動駕駛上，通過觀察人類駕駛行為，機器人能夠熟練操作方向盤，實現自動駕駛就更進一步。當然這只是作者的想象，或許這一技術有更多其他方面的應用。