UC Berkeley大學的研究人員們利用深度姿態估計和深度學習技術，讓智能體從單一視頻中學習人物動作，并生成近乎相同的結果。更重要的是，智能體還能將所學到的技能應用于不同環境中。以下是論智對其博文的編譯。

不論是像洗手這樣日常的動作，還是表演雜技，人類都可以通過觀察學習一系列技能。隨著網絡上越來越多視頻資源的出現，想找到自己感興趣的視頻比之前更容易了。在YouTube，每分鐘都有300小時的視頻上傳成功。但是，對于機器來說，從如此大量的視覺數據中學習技能仍然困難。大多數動作模仿的學習方法都需要有簡潔地表示，例如從動作捕捉獲取的記錄。但想得到動作捕捉的數據可能也非常麻煩，需要大量設備。另外，動作捕捉系統也僅限于遮擋較少的室內環境，所以有很多無法記錄的動作技能。那么，如果智能體可以通過觀看視頻片段來學習技能，不是很好嗎？

在這一項目中，我們提出了一種可以從視頻中學習技能的框架，通過結合計算機視覺和強化學習中出現的先進技術，該框架能讓智能體學會視頻中出現的全部技能。例如給定一段單目視頻，其中一個人在做側手翻或后空翻，該系統的智能體就可以學習這些動作，并重現出一樣的行為，無需人類對動作進行標注。

從視頻中學習身體動作的技能最近得到很多人的關注，此前的技術大多依靠人們手動調整框架結構，對生成的行為有很多限制。所以，這些方法也僅在有限的幾種情境下使用，生成的動作看起來也不太自然。最近，深度學習在視覺模擬領域表現出了良好的前景，例如能玩雅達利游戲,機器人任務

框架

我們提出的框架包含三個階段：姿態估計、動作重建和動作模擬。在第一階段，框架首先對輸入的視頻進行處理，在每一幀預測人物動作。第二步，動作重建階段會將預測出的動作合并成參考動作，并對動作預測生成的人工痕跡做出修正。最后，參考動作被傳遞到動作模擬階段，其中的模擬人物經過訓練，可以用強化學習模仿動作。

動作估計

給定一段視頻，我們用基于視覺的動作估計器預測每一幀演員的動作qt。該動作預測器是建立在人類網格復原這一工作之上的（akanazawa.github.io/hmr/），它用弱監督對抗的方法訓練動作估計器，從單目圖像中預測動作。雖然在訓練該估計器的時候需要標注動作，不過一旦訓練完成，估計器在應用到新圖片上時就無需再次訓練了。

用于估計人物動作的姿態估計器

動作重建

姿態估計給視頻中的每一幀都做出了單獨的動作預測，但兩幀之間的預測可能會出現抖動偽影。另外，雖然近些年基于是覺得姿態估計器得到了很大進步，但有時它們也可能會出現較大失誤。所以，這一步的動作重建就是減少出現的偽影，從而生成更逼真的參考動作，能讓智能體更輕易地模擬。為了實現這一點，我們對參考動作進行了優化Q={q0,q1,…,qt}，以滿足以下目標：

其中lp(Q^)是為了讓參考動作和原始動作預測更接近，lsm(Q^)是為了讓相鄰的幀之間的動作更相近，從而生成更流暢的動作。另外，wp和wsm是不同損失的權重。

這一過程可以顯著提高參考動作的質量，并且修正一些人工生成的痕跡。

動作模擬

有了參考動作{q^0,q^1,…,q^t}之后，我們就可以訓練智能體模仿這些動作了。這一階段用到的強化學習方法和之前我們為模擬動作捕捉數據而提出的方法相似，獎勵函數僅僅是為了讓智能體的動作和重建后的參考動作之間的差異最小化。

這一方法表現得很好，我們的智能體可以學習很多雜技動作，每個動作只需要一段視頻就能學會。

結果

最終我們的智能體從YouTube上的視頻中學習了20多種不同的技能。

盡管智能體的形態有時和視頻中的人物不太一樣，但這一框架仍然能逼真地重現很多動作。除此之外，研究人員還用模擬的Atlas機器人模仿視頻動作。

使用模擬人物（智能體）的好處之一就是，在新環境下可以用模擬對象生成相應的動作。這里，我們訓練智能體在不規則平面上采取不同動作，而它所對應的原始視頻是在平地上運動的。

雖然和原始視頻中的環境大不相同，學習算法仍然能生成相對可靠的策略來應對不同路面情況。

總的來說，我們的框架采用的都是視頻模仿問題中常見的方法，關鍵是要將問題分解成更加易處理的組合部分，針對每個部分采取正確的方法，然后高效地把它們組合在一起。但是模擬視頻中的動作仍然是非常有挑戰性的工作，目前還有很多我們無法復現的視頻片段：

這種江南style的舞步，智能體就難以模仿

但是看到目前我們實現的成果，還是很振奮人心。未來我們還有很多需要改進的地方，希望這項工作能作為基礎，為智能體在未來處理大量視頻數據的能力奠定了基礎。