人類具有適應(yīng)環(huán)境變化的強(qiáng)大能力：我們可以迅速地學(xué)會(huì)住著拐杖走路、也可以在撿起位置物品時(shí)迅速地調(diào)整自己的力量輸出，甚至小朋友在不同地面上行走都能輕松自如地切換自己的步態(tài)和行走模式。這樣的適應(yīng)能力對于在復(fù)雜多變的環(huán)境中生存活動(dòng)十分重要。但這些看似是人類與生俱來的能力，機(jī)器人拼盡全力也未必能實(shí)現(xiàn)。

絕大部分的機(jī)器人都被部署在固定環(huán)境中重復(fù)執(zhí)行固定的動(dòng)作，但面對未知的全新情況機(jī)器人就會(huì)失效，甚至是運(yùn)行環(huán)境的些許變化，比如一陣風(fēng)來了、負(fù)載質(zhì)量改變或意外的擾動(dòng)都會(huì)給機(jī)器人帶來難以處理的困難。為了縮小機(jī)器人與人類對于環(huán)境適應(yīng)能力間的差距，研究人員認(rèn)為機(jī)器人預(yù)測狀態(tài)與實(shí)際觀測狀態(tài)間如果存在較大的誤差，那么這個(gè)誤差應(yīng)該要引導(dǎo)機(jī)器人更新自身模型，以更好地描述當(dāng)前狀態(tài)，也就是快速的環(huán)境適應(yīng)性。

有一個(gè)形象的例子來解釋這種適應(yīng)性，很多小伙伴在開車時(shí)，特別在北方的冬天都遇到過車輛側(cè)滑的情況，駕駛員發(fā)現(xiàn)預(yù)測車的行駛狀況與實(shí)際不符，本來該直走的車怎么橫著開了！這時(shí)駕駛員就根據(jù)這個(gè)誤差迅速調(diào)整自身操作來糾正車輛行駛狀態(tài)。這個(gè)過程就是我們期望機(jī)器人能夠?qū)W會(huì)的快速適應(yīng)能力。

對于一個(gè)要面對錯(cuò)綜復(fù)雜真實(shí)世界的機(jī)器人來說，從先前經(jīng)驗(yàn)中迅速、靈活地調(diào)整自身狀態(tài)和行為適應(yīng)環(huán)境是十分重要的。為了實(shí)現(xiàn)這個(gè)目標(biāo)，研究人員開發(fā)了一種基于模型的元強(qiáng)化學(xué)習(xí)算法用于提高快速適應(yīng)性。先前的工作主要基于試錯(cuò)的方法和無模型的元強(qiáng)化學(xué)習(xí)方法來處理這一問題，而在本文的研究人員將這一問題拓展到了極端情況，機(jī)器人在面對新情況時(shí)需要實(shí)時(shí)在線、在幾個(gè)時(shí)間周期內(nèi)迅速完成適應(yīng)，所以實(shí)現(xiàn)這一目標(biāo)的難度可想而知?；谀Ｐ偷脑獙W(xué)習(xí)方法不像先前方法基于目標(biāo)的獎(jiǎng)勵(lì)來優(yōu)化，而是利用每一時(shí)刻預(yù)測與觀測間的誤差作為數(shù)據(jù)輸入來處理模型。這種基于模型的方法使機(jī)器人在使用少量數(shù)據(jù)的情況下實(shí)現(xiàn)對環(huán)境的實(shí)時(shí)更新。

這一方法利用了最近的觀測數(shù)據(jù)來對模型進(jìn)行更新，但真正的挑戰(zhàn)在于如何基于少量的數(shù)據(jù)對復(fù)雜、非線性、大容量的模型（例如神經(jīng)網(wǎng)絡(luò)）進(jìn)行自適應(yīng)控制。簡單的隨機(jī)梯度下降方法對于需要快速適應(yīng)的方法效率很低，神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)來訓(xùn)練模型才能實(shí)現(xiàn)有效的更新。所以為了實(shí)現(xiàn)快速的自適應(yīng)調(diào)整，研究人員提出了新的方法。首先利用自適應(yīng)目標(biāo)對進(jìn)行（元）訓(xùn)練，而后在使用時(shí)利用少量的數(shù)據(jù)進(jìn)行精細(xì)訓(xùn)練以實(shí)現(xiàn)快速適應(yīng)性調(diào)整。在不同情況下訓(xùn)練出的元模型將學(xué)會(huì)如何去適應(yīng)，機(jī)器人就可以利用元模型在每一個(gè)時(shí)間步長上進(jìn)行適應(yīng)性更新以處理當(dāng)前所面對的環(huán)境，以實(shí)現(xiàn)快速在線適應(yīng)的目標(biāo)。

元訓(xùn)練

機(jī)器人的運(yùn)動(dòng)離不開對狀態(tài)的估計(jì)。在任意時(shí)刻下我們都可以對當(dāng)前狀態(tài)St，施加一定的行為at，從而得到下一時(shí)刻的狀態(tài)St+1，這一狀態(tài)的變化主要由狀態(tài)轉(zhuǎn)移函數(shù)決定。在真實(shí)世界中，我們無法精確建立狀態(tài)轉(zhuǎn)移動(dòng)力學(xué)過程，但可以利用學(xué)習(xí)到的動(dòng)力學(xué)模型進(jìn)行近似，這樣就可以基于觀測數(shù)據(jù)進(jìn)行預(yù)測。上圖中的規(guī)劃器就可以利用這一估計(jì)的動(dòng)力學(xué)模型來進(jìn)行行為調(diào)整。在訓(xùn)練時(shí)模型會(huì)選取最近的（M+K）連續(xù)的數(shù)據(jù)點(diǎn)序列，首先利用M個(gè)數(shù)據(jù)來更新模型的權(quán)重，隨后利用身下的K個(gè)點(diǎn)來優(yōu)化跟新后的模型對于新狀態(tài)的預(yù)測能力。模型的損失函數(shù)可以表達(dá)為在先前K個(gè)點(diǎn)上進(jìn)行適應(yīng)后，在未來K個(gè)點(diǎn)上的預(yù)測誤差。這意味著訓(xùn)練模型可以利用鄰近的數(shù)據(jù)點(diǎn)迅速調(diào)整權(quán)重使自身可以進(jìn)行較好的動(dòng)力學(xué)預(yù)測。

為了測試這種方法對于環(huán)境突變的適應(yīng)能力，研究人員首先在仿真機(jī)器人系統(tǒng)中進(jìn)行了實(shí)驗(yàn)。研究人員在相同擾動(dòng)下的環(huán)境中多所有主體進(jìn)行了元訓(xùn)練，而在主體從未見過的環(huán)境及變化中進(jìn)行測試。下面的獵豹模型在隨機(jī)浮動(dòng)的擾動(dòng)上進(jìn)行訓(xùn)練，隨后在水上浮動(dòng)的情況下進(jìn)行了測試，機(jī)器人展現(xiàn)了快速適應(yīng)環(huán)境變化的能力。右圖顯示了在斷腿的情況下機(jī)器人的適應(yīng)性：

機(jī)器人面對環(huán)境變化后的適應(yīng)能力，圖中展示了基于模型的方法和基于在線自適應(yīng)的方法

對于多足機(jī)器人來說，在不同腿配置的情況下進(jìn)行了訓(xùn)練，而在不同腿部損傷情況下進(jìn)行了測試。這種基于模型的元強(qiáng)化學(xué)習(xí)方法使得機(jī)器人具有快速適應(yīng)能力，更多的比較測試詳見文末論文。

硬件實(shí)驗(yàn)

為了更好地驗(yàn)證算法在真實(shí)世界中的有效性，研究人員使用了具有高度隨機(jī)性和動(dòng)力學(xué)特性微型6足機(jī)器人。

快速制造技術(shù)和多種定制化的設(shè)計(jì)，使得每一個(gè)機(jī)器人的動(dòng)力學(xué)特性都獨(dú)一無二。它的零部件性能會(huì)隨著使用逐漸退化，同時(shí)也能在不同地面上快速移動(dòng)。這使機(jī)器人控制算法面臨著會(huì)隨時(shí)變化的環(huán)境狀況，十分適合用于驗(yàn)證算法。研究人員首先在不同的地面狀況下對機(jī)器人進(jìn)行元訓(xùn)練，隨后測試了機(jī)器在新情況下的在線適應(yīng)能力。在斷腿、新地表、斜坡路況、負(fù)載變化、錯(cuò)誤標(biāo)定擾動(dòng)等情況下都表現(xiàn)良好。可以看到不同情況下最右邊的在線適應(yīng)方法更為穩(wěn)定，適應(yīng)不同情況的能力更強(qiáng)。腿斷了也能盡力走直線了：

加上負(fù)載也不會(huì)走的歪歪扭扭：

位姿錯(cuò)誤標(biāo)定也能及時(shí)更新糾正：

在和標(biāo)準(zhǔn)基于模型的方法(MB)、動(dòng)力學(xué)評測的方法(MB+DE)比較中都顯示了這種方法的優(yōu)勢。在各個(gè)指標(biāo)上都取得了遠(yuǎn)超傳統(tǒng)方法的結(jié)果。

在未來研究人員計(jì)劃對模型進(jìn)行改進(jìn)，使它的能力隨著時(shí)間逐漸增長而不是每次都需要從預(yù)訓(xùn)練模型進(jìn)行精調(diào)。并能夠記住在學(xué)習(xí)過程中學(xué)到的技能，將在線適應(yīng)的學(xué)習(xí)到的新能力作為未來遇到新情況時(shí)的先驗(yàn)技能提高模型表現(xiàn)。