電子發(fā)燒友網(wǎng)報道（文/梁浩斌）“純視覺”的概念在近幾年的智能駕駛領域被提到的次數(shù)不少，特斯拉、小鵬、以及傳聞準備重組的極越，都早已全面押注到“純視覺”的智能駕駛技術。一些智駕方案商為了推動產(chǎn)品落地，也正在加速推出純視覺的方案，以降低系統(tǒng)成本。

而在機器人領域，傳感器的應用一直都是業(yè)界研究的核心，包括3D ToF相機、激光雷達、毫米波雷達、觸覺傳感器、各種力矩傳感器等，在目前主流的機器人領域都有廣泛應用。

然而最近刊登在Nature主刊上的一篇論文，展示了一個機器人“純視覺”方案。

傳統(tǒng)機器人控制方案

傳統(tǒng)機器人是由高剛度材料精密加工部件構成，在結構上，通過低公差關節(jié)連接，可以簡化為理想化的剛性連桿運動學鏈。而為了讓系統(tǒng)了解目前機器人的狀態(tài)，就需要使用多種傳感器進行監(jiān)測，比如在每個關節(jié)配備高精度的傳感器，像角度編碼器等，實時測量關節(jié)的狀態(tài)變化，這些數(shù)據(jù)可以用于完整重建機器人的3D位姿，再通過基于動力學模型設計控制算法（如PID、MPC），將期望運動軌跡轉換為執(zhí)行器指令。

論文中提到，傳統(tǒng)的機器人控制方案存在局限性。首先是依賴機器人預設的結構和傳感器，要求機器人必須具有離散關節(jié)和嵌入式傳感器，無法適用于缺乏傳感器的軟體或混合材料機器人。

其次，在使用柔性結構的機器人中，需要解決大變形、粘彈性、材料疲勞等復雜問題，傳統(tǒng)的基于連續(xù)介質力學的模型計算成本過高，很難實現(xiàn)實時控制。同時，傳統(tǒng)的模型無法處理關節(jié)間隙或者制造公差導致的非線性動態(tài)。

另外，因為模型對于機器人公差的要求非常高，依賴精密制造和高性能材料，成本過高，開發(fā)周期長，不利于機器人的普及。

“純視覺”機器人控制方案有什么優(yōu)勢？

該論文由麻省理工學院（MIT）的多位研究人員合作完成，其中論文前三作分別是李思哲、張安南和陳博遠，均于MIT計算機科學與人工智能實驗室（CSAIL）攻讀博士學位。

那為什么會想到用“純視覺”來構建機器人控制系統(tǒng)？論文團隊提到，這項工作的靈感是來自于人類感知，人類通過用游戲控制器來控制機器人，可以在幾分鐘內(nèi)就學會拾取和放置物體，而我們唯一用到的傳感器就是眼睛。

在論文中，該“純視覺”機器人控制方案是使用了名為Visuomotor Jacobian Field（視覺運動雅可比場）的技術。這是一種機器學習方法，可以使用單個視頻攝像頭獲得的數(shù)據(jù)來控制機器人。

首先，團隊使用12個消費級RGB-D視頻攝像頭捕獲的、執(zhí)行隨機生成命令的多視圖視頻訓練了框架，無需人工注釋或專家定制即可學習控制新機器人。在進行訓練后，這個方法僅使用單個視頻攝像頭就能控制機器人執(zhí)行期望的動作。

其中，視覺運動雅可比場的框架主要包含兩個關鍵部分，首先是一個基于深度學習的狀態(tài)評估模型，這個模型可以僅通過單一視頻流就可以推斷出機器人的三維狀態(tài)，編碼了它的三維幾何形狀和微分運動學，即可以確認在任何可能得指令下，機器人在三維空間中任何點的移動方式。

其次是一個逆動力學控制器，在二維圖像空間或三維空間中一密集的方式將期望的運動參數(shù)化，實時計算并輸出機器人控制指令。研究團隊發(fā)現(xiàn)，將演示軌跡參數(shù)化為密集的點運動是控制各種類型機器人系統(tǒng)的關鍵，因為可變形和靈巧機器人的運動不能被單個三維框架上指定的剛性變換很好地約束，參數(shù)化使得廣泛的系統(tǒng)可以模仿基于視頻的演示。

最終，通過該方法獲得了跨平臺的機器人控制能力。團隊在使用16自由度的商用Allegro靈巧手進行測試時，關節(jié)角度誤差可以小于3°，指尖位置誤差小于4mm；使用3D打印的15氣動通道軟體手時，可以實現(xiàn)精準抓取工具，并具備抗遮擋能力；在采用剪切拉脹材料的HSA柔性腕平臺上應用時，附加350g負重后仍實現(xiàn)7.3 mm精度；采用3D打印的Poppy教育機械臂，零部件公差較大的情況下，誤差可以小于6 mm。

另外該方案能夠實現(xiàn)無專家干預以及機器人的泛化能力，可以自動發(fā)現(xiàn)機器人的運動學結構，無需標注執(zhí)行器與部件的對應關系。同時訓練數(shù)據(jù)雖然僅包含隨機的命令，但可以泛化到未被訓練的運動。

采用該方案進行機器人控制，可以顯著降低機器人自動化的門檻，降低機器人控制成本。其中關鍵創(chuàng)新在于將傳統(tǒng)機器人控制的建模問題轉化為基于視覺的自監(jiān)督學習問題，為生物啟發(fā)式機器人的實際部署開辟了新路徑。