瑞士蘇黎世機器人系統實驗室為他們的ANYmal機器狗開發了新的訓練方法，利用強化學習，機器人學習的速度提升了1000倍，動作靈活性和速度都大幅增強，而且任踢不倒，或者在哪里跌倒就在哪里站起。

一提到機器狗，大家可能首先想到的是波士頓動力的SpotMini。

這只黃色小狗會跑會跳，還會上下樓梯，隨音樂熱舞，崎嶇地面行走如履平地，甚至還會幫“兄弟”開門，簡直成精了！難怪每回波士頓動力放出新視頻都會搶盡眼球。

波士頓動力的SpotMini會開門

不過這次，搶占眼球的是一只“在哪里跌倒就在哪里站起來”的黑色機器狗。這只機器狗來自瑞士蘇黎世機器人系統實驗室，相關論文周三發表在Science Robotics雜志上。

ANYmal機器狗

要知道，先進的機器人是很昂貴的，要教它們學會一項任務非常耗時。來自瑞士蘇黎世機器人系統實驗室的一個研究小組稱，他們找到一種方法，通過適當的模擬，可以訓練他們的機器人快速學習。

任踢不倒

摔了個狗啃泥，但沒關系，翻個身就能起來

在論文中，他們描述了一種系統，這種系統可以訓練機器人以比以往任何時候都要快的速度移動，同時仍然能夠抵抗試圖將其撞倒的企圖。如果它真的被撞倒了，它甚至可以通過自身的力量重新站起來。

ANYmal跑過房間

這臺機器狗名為ANYmal，最初是由位于蘇黎世聯邦理工學院(ETH Zurich)機器人系統實驗室的研究人員開發的，后來成為2016年成立的ANYbotics公司的一部分，開始商業化。

ANYmal可用于搜救任務，例如火災搜救

不像現在的許多四足機器人，ANYmal有防水能力，是專門為穿越不太理想的環境而設計的，比如森林、工業場所和雪地。根據ANYbotics的說法，這款機器人已經可以在現實世界中用于人類無法到達的危險地區，包括搜救任務。它去年甚至出現在最近一集《X檔案》里，扮演一個攻擊機器人。

利用強化學習，訓練速度提升1000倍

雖然在沒有人類輸入的情況下，四條腿的機器人比兩條腿的機器人在模仿真實生物的靈活性和協調性方面要領先得多，但仍有很大的改進空間。

機器人專家已經轉向的一個潛在的解決方案是一種稱為強化學習的機器學習形式。這種方法可以讓機器人通過反復試驗來訓練自己，找到執行任務的最佳方式，比如走路。

簡而言之，強化學習可以讓機器人幾乎像能動物一樣“思考”和學習，具有自己的內在邏輯。

然而，在一個有腿的、真實的機器人身上使用強化學習并不容易，因為它們本身和它們的運動都非常復雜。因此，目前為止，科學家們主要依靠計算機模擬機器人學習。但是，該研究論文的第一作者、蘇黎世聯邦理工學院機器人系統實驗室的科學家Jemin Hwangbo說，使用這些模擬數據來訓練ANYmal這樣的真實機器人也很困難。

利用模擬數據訓練

他說：“為復雜的腿式系統開發控制策略是極具挑戰性的。機器人面臨的情況數不勝數，幾乎不可能設計出能涵蓋所有情況的控制邏輯。”

在這篇新論文中，Hwangbo和他的團隊寫道，他們開發出一種神經網絡，使他們能夠更好、更容易地將仿真數據轉換到機器人上。讓機器人利用模擬數據學習的速度比在現實世界學習快了近1000倍。

研究人員讓模擬機器狗自己訓練了11個小時，然后將結果下載到物理機器人上。測試表明，該方法運行良好，改進版的ANYmal機器狗更加靈活，速度也更快。

研究小組還表示，他們能夠降低類似系統所需的計算力，只需要一臺普通PC就能執行模擬。

上面的視頻展示了這一研究的最終結果，看起來確實令人印象深刻，也有點可怕。

使用模擬數據訓練的ANYmal跑得更快，更節能，比它以往的最快跑步速度快了25%，同時也能更好地按照指令以一定的速度移動。

雖然它原本已經是相當強壯的機器人，但在研究人員盡力將其踢翻的過程中，新的訓練仍然使它能夠保持直立。

它甚至可以從跌倒中翻身站起，研究人員稱，在類似復雜度的四足機器人上從未能做到這一點。

ANYmal機器狗的不同落體配置

從各種方向跌倒，ANYmal都能翻身站起

Hwango說，他們的新訓練技術不是僅適用于ANYmal。他們認為該技術可以幫助任何四足機器人更好地站立。但要訓練機器人在各種各樣的環境下都能如此敏捷，仍有很多工作要做。

他說：“這篇論文提出的方法只針對平坦的地形。為了穿越崎嶇不平、非結構化的地形，我們需要使用視覺傳感器和適當的政策來處理這些信息。我們正在朝這個方向努力，希望不久能提出一個更全面的解決辦法。”

與此前的ANYmal機器人控制器相比，新的訓練方法在使用更少的扭矩和功率的情況下，能使ANYmal行走更加精確。