摘要：前幾天我們剛剛介紹了加州大學伯克利分校PieterAbbeel教授領導伯克利機器人學習實驗室（UCBerkeley'sRobotLearningLab）開發的會疊衣服的家務向機器人BLUE，今天伯克利人工智能實驗室（BAIR）這邊也帶來了一項新的機器人科研成果——教會機器人使用工具完成任務。這篇論文的作者之一是知名青年機器學習研究員、谷歌大腦研究科學家ChelseaFinn，她目前正在BAIR做博士后。AI科技評論把論文成果的介紹博客編譯如下。

一個有難度的目標：學習使用工具

在許多動物身上，使用工具的能力都來自于觀察學習和動手嘗試兩者的共同作用。比如，大猩猩可以通過觀察自己已經掌握了技能的同伴學會如何用樹枝從白蟻窩里“釣”白蟻吃，人類也觀察到卷尾猴能夠把樹枝作為掃和撥的工具，把較遠的食物弄到他們身邊。有人也許會提出這只不過是猴子們依葫蘆畫瓢，但這篇論文的作者們認為使用工具的能力顯然體現了更為高級的智慧。

大猩猩釣白蟻

在這項新研究中作者們探索的問題是：我們能否讓機器人也擁有相似的使用工具的能力——通過觀察和自己動手實驗學會使用工具。

在執行復雜的多物體控制任務時，有一項必須的要素是理解物理層面的因果關系，所以預測不同的物體之間會如何相互作用就非常關鍵。在之前的視覺深度強化學習研究中，作者們已經探究了如何在機器人與世界的無監督交互過程中學習包含因果關系的視覺預測模型。在學習到這樣的模型之后，機器人就可以開始規劃并完成一系列簡單的任務，包括疊衣服、整理物品。不過，如果考慮到使用工具的任務中更為復雜的物理交互，比如用掃帚把塵土掃進簸箕里，非指向性的動手實驗就不夠了。

因此，考慮到動物們是如何學習的，作者們設計了一個新的算法，它可以讓機器人通過類似的模仿、互動的范式學習如何使用工具。具體來說作者們展示了，借助一組演示數據以及無監督的動手實驗，機器人可以學會把新的物體作為工具使用，甚至可以在傳統工具缺失的情況下靈活使用現有的工具完成任務。更進一步地，根據任務要求的不同，作者們的方法還讓機器人有能力決定是否使用當前給定的工具。

作者們提出的方法讓機器人有能力學習如何把不同的物體當作工具以完成用戶給定的任務（第一行圖中用黃色箭頭標出）。任務中并沒有指定機器人必須使用給定的工具，但機器人決定使用它們。

在指導中學習視覺預測

從演示中學習

首先，作者們需要使用一個演示動作數據集，其中展示了各種不同的工具是如何使用的。由于最終的目標是希望學習到一個具有多種多樣的工具使用能力的模型，作者們采集的演示動作數據也就包含了多種不同的工具和多種不同的任務。對于每一個演示，作者們都讓機器人自己的攝像頭錄制了圖像序列和動作指令。

幾個引導運動的例子

通過這些數據，作者們得到了一個模型，它可以提出把當前場景內存在的物體作為工具的運動序列。并且，為了能夠從演示中捕捉更為豐富的行為，這個模型的輸出形式是不同動作序列的分布。

為視覺預測模型的學習收集無監督數據

由于作者們希望機器人的行為不要局限于演示數據中出現的那些動作，并最終泛化到新的物體和新的情境中，他們就還需要很多不同的數據。最理想的來源當然是由機器人自己采集，而且是通過大規模可拓展的方式。比如，作者們希望機器人能夠理解抓取姿態不好之類的小錯誤對后續的動作會有什么影響，所以他們就讓機器人從現有的經驗基礎上繼續動手實驗、繼續收集更多的數據。

具體來說，論文作者們設計了兩種不同的數據自動采集方式：一種方式是執行隨機的動作序列，另一種是從上一節中提到的動作序列提出模型中采樣。后一種方式中，機器人可以把工具拿起來然后在空間中隨機移動它。對于學習多物體的交互方式來說，在這一環節中學習到的經驗非常重要。

根據日常物體和工具進行無監督交互學習

最終，作者們使用的數據集一共由這幾部分構成：專家演示、機器人使用多種不同工具的無監督實驗、以及BAIR機器人交互數據集中的數據。作者們用這些數據訓練了一個動態模型。模型的實現方式是循環卷積神經網絡，它在每個時間步驟的輸入是前一副圖像和一個動作，輸出是一副生成的圖像。

在指導中學習規劃

在測試時，機器人可以使用模仿學習訓練的模型來指導規劃過程，然后用預測模型來覺得哪些動作可以讓它完成目前的任務。

新任務的創建需要用戶給定關鍵點的移動。比如下圖中，我們希望機器人把地上的垃圾掃到簸箕中，就在圖中選中垃圾的中心點，然后畫出希望的最終位置。用這種方式指定任務并不會告訴機器人如何使用工具，在有多種工具可以選的環境下甚至都沒有指明要用哪一種工具，機器人需要自己思考并規劃。

作者們使用了一個簡單的基于采樣的規劃過程，它會使用動作提議模型和圖像預測模型的輸出，并讓機器人有能力用多種不同的工具和物品完成多種不同的任務。具體來說，動作序列最初是從隨機采樣的，然后，根據圖像預測模型可以預測出每一種動作序列規劃的結果。

同一個初始場景中，針對不同動作序列的預測結果

通過選出當前最佳的規劃并根據它生成一個分布，系統可以進行反復的迭代采樣，在當前最佳的規劃的基礎上一直優化改進，最后在機器人上執行。

系統運行框圖

實驗

作者們對這種方法進行了實驗，讓它使用新的工具執行用戶設定的目標。

從左到右：初始場景和任務目標；根據最佳運動規劃的預測結果；機器人的實際執行結果

在前面提到過的清掃任務中，機器人可以抓起附近的掃帚，高效地完成任務。

在另一個場景中，雖然機器人從未見過海綿，但它能夠思考如何用它把盤子中的碎渣掃走。

在下面的例子中，作者們設定只允許機器人在綠色陰影范圍內移動，目標是把藍色圓柱體向自己的方向移動。顯然，這個任務的關鍵就是機器人想到了如何使用L型的木塊把圓柱體鉤過來。

以及，即便只給機器人提供礦泉水瓶之類的日常物體，它也能推理出如何把它作為工具完成任務。

最后，在最好不使用工具的環境中，機器人也會選擇直接用自己的夾鉗完成任務。

左：任務目標是把兩個物體都移向左邊，機器人選擇用工具高效地完成；右：任務目標只需移動一個物體，機器人用自己的夾鉗把它移過去

除了這些例子之外，論文中的量化實驗結果表明他們的方法比單獨使用從演示學習有更好的泛化通用性，也比單獨從經驗學習有更強的完成任務能力。

關于其他機器人使用工具研究的對比討論

論文《ARelationalApproachtoTool-UseLearninginRobots》（www.roboticsproceedings.org/rss14/p44.pdf）研究了如何在任務和運動規劃框架下通過邏輯編程和已知模型控制工具。然而，基于邏輯的系統和基于解析模型的系統都容易受到建模誤差的影響，這會在測試執行時累積并影響表現。

其它的研究中把工具看作了面向任務的抓取動作控制（ieeexplore.ieee.org/document/769），并根據規劃（cs.stanford.edu/people/asaxena/papers/deepmpc_rss2015.pdf）或者策略學習（arxiv.org/abs/1806.09266）來使用工具。這些方法都限制了涉及到工具的運用的范圍，而這篇論文中的方法不論場景中有沒有工具都可以完成運動規劃。

也有一些別的方法（ieeexplore.ieee.org/document/1570580，cs.stanford.edu/people/asaxena/papers/deepmpc_rss2015.pdf）提出在使用工具中學習動態模型。然而，這些方法需要額外使用手工設計的感知流水線，或者完全忽略感知，這篇論文中的方法就可以直接從原始圖像像素中學習物體間的交互。

結論

會出現從未見過的物體的多樣、復雜任務是機器人領域正在嘗試攻克的問題。為了研究這個問題，這篇論文的作者們研究了需要把物體作為工具的多種任務。作者們提出了結合模仿學習和自我監督交互學習的新方法，并展示了這種方法可以讓機器人完成復雜的多物體交互任務，其中可以含有多種多樣的物體，甚至可以在新的環境中靈活運用物體作為工具。作者們希望這項研究展示了讓機器人同時變得更通用和更能干的新方法，以便未來機器人可以在日常生活環境中執行有用的任務。