請注意，本文所體現的信息、用途及應用完全是 Video-Touch 客座作者的觀點。

您可能看過一些科幻電影，電影中的人可以用身體動作來控制機器人。如今，借助現代計算機視覺和機器人方法，我們能夠把這種體驗變成現實，而且和電影一樣精彩奇妙。

受新冠病毒影響，在如此艱難的時期，為了讓遠程控制和遠程操作變得切實可用，我們開啟了 VideoTouch 項目。

Video-Touch 是第一個人機交互系統。它允許多名用戶，在世界任何地方通過視頻通話應用（例如 Google Meet、Zoom、Skype）對其進行控制。

我們考慮過，是否有可能只用自己的手來遠程控制機器人，而不借助手套、操縱桿等任何額外的設備，同時不產生明顯的延遲。于是，我們決定使用計算機視覺來實時識別動作，并實時傳遞給機器人。在 MediaPipe 的幫助下，我們將其變為了現實。

操作系統大致如下：

1. 通過視頻會議應用，在用戶設備上獲取網絡攝像頭視頻，然后將其發送至機器人計算機（“服務器”）；

2. 用戶的網絡攝像頭視頻串流通過 OBS 虛擬攝像頭工具被捕捉到機器人的計算機顯示器上；

3. 識別模塊在 MediaPipe 的幫助下讀取用戶的動作和手勢，并通過 ZeroMQ 發送給下一個模塊；

4. 在動作捕捉數據的基礎上，機械臂及其抓手由 Python 控制。

從方案中可以清楚地看出，用戶在操作機器人時只需穩定的互聯網連接和一個視頻會議應用。所有的如屏幕捕捉、手部追蹤、手勢識別和機器人控制等計算，都可以在 Wi-Fi 與機器人連接的單獨設備上進行（只是另一臺筆記本電腦）。接下來，我們將對流水線的各個環節進行詳細說明。

視頻串流和屏幕捕捉

用戶可以使用任何一臺能夠實現跨設備傳輸視頻的軟件。在實驗中，我們使用的是視頻會議的桌面應用。用戶在其設備上呼叫一臺顯示器與機器人相連的計算機。這樣，機器人就可以看到來自用戶網絡攝像頭的視頻串流。

現在，我們需要某種機制來把用戶的視頻從視頻會議傳遞到識別模塊。我們使用的是 Open Broadcaster Software （OBS） 及其虛擬攝像頭工具來捕捉打開視頻會議的窗口。這樣我們就獲得了一個虛擬攝像頭，它現在有來自用戶網絡攝像頭的幀及其獨特的設備索引，可以在識別模塊中進一步使用。

識別模塊

識別模塊的作用是捕捉用戶的動作并將其傳遞給機器人控制模塊。MediaPipe 會在此發揮作用。我們為捕捉手部動作尋找了最有效、最精確的計算機視覺軟件。我們發現了許多令人興奮的解決方案，但事實證明，對于如此具有挑戰性的任務（實時設備端手部運動精確識別），MediaPipe 是唯一適合的工具。

我們對 MediaPipe 手部追蹤模塊進行了兩項關鍵修改：增加了手勢識別計算器并集成了 ZeroMQ 消息傳遞機制。

兩項關鍵修改

https://github.com/Arxtage/videotouch.github.io/tree/main

在上次發表文章的時候，我們有兩個版本的手勢識別實現。第一個版本如下圖 3 所示，所有的計算均在手部姿勢識別計算器內進行。計算器將特征點作為輸入進行縮放，也就是說，這些特征點根據手的邊界框大小（而非整個圖像的大小）進行標準化。接下來，它會識別 4 種手勢（另見圖 4）：“移動”、“傾斜”、“抓取”和“無手勢”（論文中的“手指距離”手勢是實驗性內容，沒有包括在最終演示版中），并輸出手勢類名稱。盡管這個版本十分穩健實用，但它只是基于簡單的啟發式規則，如：“如果此特征點 ［i］.x 《 特征點 ［j］.x，那么它是一個‘移動’手勢”，而且對于手部旋轉這類現實生活中的情況，此版本無法識別。

發表文章

https://dl.acm.org/doi/10.1145/3415255.3422892

為了緩解泛化不良的問題，我們實施了第二個版本。我們在手動收集和加標簽的 1000 個關鍵點的數據集上訓練了來自 scikit-learn 的梯度提升分類器：“移動”、“傾斜”和“抓取”類各有 200 個，而“無手勢”類有 400 個。順便說一下，如今可以通過最近發布的 Jesture AI SDK repo（注：我們團隊部分成員的另一個項目）輕松獲取此類數據集。

Jesture AI SDK

https://github.com/jesture-ai/jesture-sdk/tree/main/python#annotation-tool

我們使用縮放的特征點、關節間的角度以及成對的特征點距離作為模型的輸入，來預測手勢類。接下來，我們嘗試只傳遞縮放的特征點，而不傳遞任何角度和距離，結果在 200 個關鍵點的本地驗證集上獲得了 91% 的類似多類準確率。對于這個版本的手勢分類器，還有一點是我們無法直接在 C++ 中運行 scikit-learn 模型，所以我們用 Python 進行實現，作為機器人控制模塊的一部分。

發表后，我們立即推出了一個在 Keras 中訓練的全連接神經網絡，它采用的數據集與梯度提升模型相同，而得到的結果更好，準確率達到 93%。我們將這個模型轉換為 TensorFlow Lite 格式，現在我們可以在手部姿勢識別計算器中直接運行手勢識別 ML 模型。

得到當前手部位置和當前手勢類后，我們需要將其傳遞給機器人控制模塊。進行這一步時，我們借助了高性能的異步消息功能庫 ZeroMQ。為了在 C++ 中實現這一點，我們使用了 libzmq 庫和 cppzmq 標頭。利用 請求-回復 方案：識別模塊 C++ 代碼中的 REP（服務器）和機器人控制模塊 Python 代碼中的 REQ（客戶端）。

libzmq

https://github.com/zeromq/libzmq

cppzmq

https://github.com/zeromq/cppzmq

請求-回復

https://learning-0mq-with-pyzmq.readthedocs.io/en/latest/pyzmq/patterns/client_server.html

因此，借助我們修改過的手部追蹤模塊，現在能夠將運動捕捉信息實時傳遞給機器人。

機器人控制模塊

機器人控制模塊是一個 Python 腳本，它將手部特征點和手勢類作為輸入，并輸出機器人移動命令（在每一幀上）。運行該腳本的計算機通過 Wi-Fi 與機器人連接。我們的實驗中使用了搭載 Nvidia GTX 1050 Ti GPU 的 MSI 筆記本電腦。同時嘗試在 Intel Core i7 CPU 上運行整個系統，由于有高度優化的 MediaPipe 計算圖實現，該運行也是實時的，延遲可以忽略不計。

在目前的流水線中，我們使用了 Universal Robotics 的 6DoF UR10 機器人。由于使用的抓手是雙指的，我們不需要每個特征點與機器人手指關鍵點的完整映射，只需要手中心的位置。借助此中心坐標和 python-urx 軟件包，我們現在能夠在所需的方位和方向上改變機器人的速度：在每一幀上，我們計算當前手中心坐標與前一幀坐標之差，從而得出速度變化矢量或角度。最后，此機制看起來與人們用操縱桿控制機器人的方式非常相似。

python-urx

https://github.com/SintefManufacturing/python-urx

源視頻

https://www.youtube.com/watch？v=F4X4jJwDBy4

高密度觸覺傳感器的觸覺感知

靈巧的操縱要求具有較高的空間分辨率和對物體和環境的高保真觸覺感知。最新的傳感器數組非常適合機器人操縱，因為它們可以很容易地掛接到任何機器人末端執行器上，并適應任何接觸面。

源發布文章

https://dl.acm.org/doi/10.1145/3415255.3422892

Video-Touch 嵌入了一種高密度的觸覺傳感器數組。它們安裝在雙指機器人抓手中。每個指尖上都掛接一個傳感器數組。單個電極數組可以感應 5.8 平方厘米的幀面積，每幀分辨率為 100 點。感應頻率等于 120 赫茲。每個點的力檢測范圍為 1 至 9 牛頓。因此，機器人以 200 點的分辨率（每個手指為 100 點）檢測施加在機器人手指抓取的固體或柔性物體上的壓力。

從傳感器數組處收集的數據經過處理后，以動態手指接觸映射圖的形式向用戶顯示。壓力傳感器數組讓用戶能夠感知被抓物體的順應性、硬度、粗糙度、形狀、方向等物理特性。

圖 8：多用戶機械臂控制功能。用戶能夠在常規的視頻通話過程中執行 COVID-19 檢測 ［源視頻］

源視頻

尾注

如此一來，借助 MediaPipe 和機器人，我們建立了一個有效的多用戶機器人遠程操作系統。在未來，遠程操作系統的潛在用途將包括醫療檢測，以及在難以進入的環境（例如外太空）中進行的實驗。該系統的多用戶功能解決了有效遠程協作的實際問題，允許在多人小組中進行需要手動遠程控制的項目工作。

我們流水線的另一個優勢特點是，人們可以使用任何帶有攝像頭的設備，例如手機，來控制機器人。除了機械臂，人們還可以操作其他如，邊緣設備、移動機器人或無人機等硬件設備。當然，目前的解決方案具有一定的局限性：延遲時間、z 坐標（深度）的利用，以及手勢類型的便利性都有改進的空間。我們十分期待試用 MediaPipe 團隊的更新，并期待著嘗試新類型的抓手（帶手指的抓手）、雙手控制，甚至是全身控制（期待“鐵甲鋼拳”！）。

希望這篇文章對您和您的工作有所幫助。保重身體，堅持編碼。非常感謝您的關注！

責任編輯：haq