本文轉(zhuǎn)載自微軟發(fā)布的關(guān)于chatGPT擴(kuò)展到機(jī)器人領(lǐng)域的能力。以下內(nèi)容選擇部分內(nèi)容，關(guān)于chatGPT控制機(jī)械臂，以完成繪制微軟徽標(biāo)的過程。

我們將 ChatGPT 的功能擴(kuò)展到機(jī)器人，并通過語言直觀地控制機(jī)器人手臂、無人機(jī)和家庭助理機(jī)器人等多個(gè)平臺(tái)。

你有沒有想過用你自己的話告訴機(jī)器人該怎么做，就像你對(duì)人類一樣？只是告訴你的家庭助理機(jī)器人：“請(qǐng)加熱我的午餐”，然后讓它自己找到微波爐，這不是很神奇嗎？盡管語言是我們表達(dá)意圖的最直觀方式，但我們?nèi)匀粐?yán)重依賴手寫代碼來控制機(jī)器人。我們的團(tuán)隊(duì)一直在探索如何改變這一現(xiàn)實(shí)，并使用OpenAI的新AI語言模型ChatGPT實(shí)現(xiàn)自然的人機(jī)交互。

ChatGPT 是一種在大量文本和人類交互語料庫上訓(xùn)練的語言模型，使其能夠?qū)Ω鞣N提示和問題生成連貫且語法正確的響應(yīng)。我們這項(xiàng)研究的目標(biāo)是看看ChatGPT是否可以超越文本思考，并推理物理世界來幫助完成機(jī)器人任務(wù)。我們希望幫助人們更輕松地與機(jī)器人互動(dòng)，而無需學(xué)習(xí)復(fù)雜的編程語言或有關(guān)機(jī)器人系統(tǒng)的詳細(xì)信息。這里的關(guān)鍵挑戰(zhàn)是教 ChatGPT 如何解決考慮物理定律、操作環(huán)境背景以及機(jī)器人的物理動(dòng)作如何改變世界狀態(tài)的問題。

事實(shí)證明，ChatGPT 可以自己做很多事情，但它仍然需要一些幫助。我們的技術(shù)論文描述了一系列設(shè)計(jì)原則，可用于指導(dǎo)語言模型解決機(jī)器人任務(wù)。這些包括但不限于特殊的提示結(jié)構(gòu)、高級(jí) API 和通過文本的人工反饋。我們相信，我們的工作只是我們開發(fā)機(jī)器人系統(tǒng)方式轉(zhuǎn)變的開始，我們希望激勵(lì)其他研究人員進(jìn)入這個(gè)令人興奮的領(lǐng)域。繼續(xù)閱讀有關(guān)我們的方法和想法的更多技術(shù)細(xì)節(jié)。

當(dāng)今機(jī)器人技術(shù)面臨的挑戰(zhàn)，以及 ChatGPT 如何提供幫助

當(dāng)前的機(jī)器人管道始于工程師或技術(shù)用戶，他們需要將任務(wù)的要求轉(zhuǎn)換為系統(tǒng)代碼。工程師坐在循環(huán)中，這意味著他們需要編寫新的代碼和規(guī)范來糾正機(jī)器人的行為。總的來說，這個(gè)過程很慢（用戶需要編寫低級(jí)代碼），昂貴（需要具有深厚機(jī)器人知識(shí)的高技能用戶）和低效（需要多次交互才能使事情正常工作）。

ChatGPT 解鎖了一種新的機(jī)器人范式，并允許（潛在的非技術(shù)）用戶坐在循環(huán)中，在監(jiān)控機(jī)器人性能的同時(shí)向大型語言模型 （LLM） 提供高級(jí)反饋。通過遵循我們的設(shè)計(jì)原則，ChatGPT 可以為機(jī)器人場(chǎng)景生成代碼。無需任何微調(diào)，我們就利用LLM的知識(shí)來控制各種任務(wù)的不同機(jī)器人外形。在我們的工作中，我們展示了ChatGPT解決機(jī)器人難題的多個(gè)示例，以及在操縱，空中和導(dǎo)航領(lǐng)域的復(fù)雜機(jī)器人部署。

使用ChatGPT的機(jī)器人技術(shù)：設(shè)計(jì)原則

催生法學(xué)碩士是一門高度實(shí)證的科學(xué)。通過反復(fù)試驗(yàn)，我們構(gòu)建了一種方法和一套設(shè)計(jì)原則，用于編寫機(jī)器人任務(wù)的提示：

1. 首先，我們定義一組高級(jí)機(jī)器人 API 或函數(shù)庫。該庫可以特定于特定的機(jī)器人，并且應(yīng)映射到機(jī)器人的控制堆棧或感知庫中的現(xiàn)有低級(jí)實(shí)現(xiàn)。為高級(jí) API 使用描述性名稱非常重要，這樣 ChatGPT 就可以推理它們的行為;

2. 接下來，我們?yōu)?ChatGPT 編寫一個(gè)文本提示，描述任務(wù)目標(biāo)，同時(shí)明確說明高級(jí)庫中的哪些函數(shù)可用。提示還可以包含有關(guān)任務(wù)約束的信息，

3. 或者 ChatGPT 應(yīng)該如何形成它的答案（特定的編碼語言，使用輔助解析元素）;用戶通過直接檢查或使用模擬器來評(píng)估 ChatGPT 的代碼輸出。如果需要，用戶使用自然語言向 ChatGPT 提供有關(guān)答案質(zhì)量和安全性的反饋。

4.當(dāng)用戶對(duì)解決方案感到滿意時(shí)，可以將最終代碼部署到機(jī)器人上。

理論夠了...ChatGPT到底能做什么？

讓我們看一個(gè)例子...您可以在我們的代碼存儲(chǔ)庫中找到更多案例研究。

（這里我們只舉例一個(gè)比較有趣的例子，原文中還有其他機(jī)器人的例子）

循環(huán)用戶：當(dāng)復(fù)雜任務(wù)需要對(duì)話時(shí)

接下來，我們?cè)跈C(jī)器人手臂的操作場(chǎng)景中使用了 ChatGPT。我們使用對(duì)話反饋來教模型如何將最初提供的 API 組合成更復(fù)雜的高級(jí)函數(shù)：ChatGPT 自己編碼。使用基于課程的策略，該模型能夠?qū)⑦@些學(xué)到的技能邏輯地鏈接在一起，以執(zhí)行堆疊塊等操作。

此外，該模型還展示了一個(gè)有趣的示例，即在用木塊構(gòu)建Microsoft徽標(biāo)時(shí)橋接文本域和物理域。它不僅能夠從其內(nèi)部知識(shí)庫中調(diào)用徽標(biāo)，還能夠“繪制”徽標(biāo)（作為SVG代碼），然后使用上面學(xué)到的技能來確定哪些現(xiàn)有的機(jī)器人動(dòng)作可以構(gòu)成其物理形式。

以下是與chatGPT關(guān)于如何控制機(jī)器人手臂以制作具有Microsoft徽標(biāo)顏色的SVG文件的對(duì)話。

用戶：

想象一下，我們正在使用一個(gè)機(jī)械手機(jī)器人。這是一個(gè)具有 6 個(gè)自由度的機(jī)械臂，其末端執(zhí)行器上連接著一個(gè)抽吸泵。我希望你能協(xié)助我向這個(gè)機(jī)器人發(fā)送命令，給定一個(gè)場(chǎng)景和一個(gè)任務(wù)。

在任何時(shí)候，您都可以訪問以下功能：

grab（）：打開抽吸泵抓取物體

release（）：關(guān)閉抽吸泵以釋放物體

get_position（對(duì)象）：給定一個(gè)對(duì)象名稱的字符串，返回真空泵接觸對(duì)象頂部的坐標(biāo)和方向 [X， Y， Z， Y， 偏航， 俯仰， 滾動(dòng)]

move_to（位置）：它將抽吸泵移動(dòng)到給定位置 [X， Y， Z， 偏航， 俯仰， 橫滾]。

您可以使用這些函數(shù)創(chuàng)建新函數(shù)，但不允許使用任何其他假設(shè)函數(shù)。

保持解決方案簡單明了。位置以毫米為單位，角度以度為單位。您也可以使用標(biāo)簽“問題 - ”提出澄清問題。下面是一個(gè)示例方案，演示了如何提出澄清問題。

假設(shè)一個(gè)場(chǎng)景包含兩個(gè)球體。

聊天：

問題 - 有兩個(gè)領(lǐng)域。你想讓我拿哪一個(gè)？

用戶：

球體 1，請(qǐng)。使用 python 代碼來表達(dá)您的解決方案。準(zhǔn)備好了嗎？

聊天：

是的，我準(zhǔn)備好了。請(qǐng)描述場(chǎng)景和任務(wù)。

用戶：

場(chǎng)景中有以下對(duì)象：白墊、方框、藍(lán)方塊、黃色方塊、綠色方塊、紅色方塊、棕色方塊 1、棕色方塊 2。這些積木是高度為 40 毫米的立方體，位于 80 毫米深的盒子內(nèi)。這些塊只能從盒子的頂部到達(dá)。我想讓你學(xué)習(xí)撿起一個(gè)物體并握住它的技巧。為此，您需要在物體上方移動(dòng)安全距離（100 毫米），到達(dá)物體，抓住它并將其提起。

聊天：

理解。這是一個(gè) Python 函數(shù)，它采用對(duì)象的名稱，將機(jī)器人手臂移動(dòng)到對(duì)象上方，抓住它，然后將對(duì)象移動(dòng)到對(duì)象上方 100 毫米的安全距離。請(qǐng)注意，該函數(shù)假定機(jī)器人手臂最初處于安全的起始位置。

import timedef pick_up_object(object_name):# get the position of the objectobject_pos = get_position(object_name)# move the robot arm to a safe position above the objectsafe_pos = [object_pos[0], object_pos[1], object_pos[2]+100, object_pos[3], object_pos[4], object_pos[5]]move_to(safe_pos)# move the robot arm to the object's positionmove_to(object_pos)# grab the objectgrab()time.sleep(1) # wait for the object to be firmly attached# move the robot arm back to the safe position above the objectmove_to(safe_pos)

要使用此功能，只需調(diào)用pick_up_object并以字符串形式提供要拾取的對(duì)象的名稱，例如 pick_up_object（“紅色塊”）。

用戶：

偉大！現(xiàn)在我想讓你學(xué)習(xí)如何在一個(gè)位置放置和反對(duì)。考慮到您拿著一個(gè)通用對(duì)象，您首先需要移動(dòng)到目標(biāo)位置上方的安全位置，將對(duì)象放下，然后釋放它。

聊天：

理解。這是一個(gè)Python函數(shù)，它占據(jù)了應(yīng)該放置物體的位置，將機(jī)器人手臂移動(dòng)到該位置上方，將物體放下，然后釋放它。請(qǐng)注意，該函數(shù)假定機(jī)器人手臂正在握住一個(gè)物體。

def place_object(position):# move the robot arm to a safe position above the target locationsafe_pos = [position[0], position[1], position[2]+100, position[3], position[4], position[5]]move_to(safe_pos)# move the robot arm to the target locationmove_to(position)# release the objectrelease()# move the robot arm back to the safe position above the target locationmove_to(safe_pos)

要使用此功能，只需調(diào)用 place_object 并將目標(biāo)位置作為 6 個(gè)數(shù)字的列表提供，例如 place_object（[100， 200， 50， 0， 0， 0]）。請(qǐng)注意，位置的單位以毫米為單位，方向角以度為單位。

用戶：

偉大！現(xiàn)在我希望你使用這些技能來撿起綠色塊并放在白色墊子上。所有塊的高度均為 40 毫米。

聊天：

確定！這是Python代碼，用于拾取綠色塊并將其放在白色墊上：

# get the positions of the green block and white padgreen_pos = get_position("green block")white_pos = get_position("white pad")# pick up the green blockpick_up_object("green block")# calculate the position to place the block on the white padplace_pos = [white_pos[0], white_pos[1], white_pos[2]+40, 0, 0, 0]# place the block on the white padplace_object(place_pos)

此代碼使用 get_position 函數(shù)獲取綠色塊和白墊的位置，使用我們之前定義的pick_up_object函數(shù)拾取綠色塊，計(jì)算將塊放置在白墊上的位置，并使用我們之前定義的place_object函數(shù)將塊放置在白墊上。請(qǐng)注意，我們將塊的高度（40 mm）添加到白色墊子的高度上，以確保塊放置在墊子的頂部。

用戶：

偉大！現(xiàn)在我希望你把兩個(gè)棕色塊堆疊在綠色塊的頂部。

聊天：

確定！以下是將兩個(gè)棕色塊堆疊在綠色塊頂部的 Python 代碼：

# get the positions of the green block and both brown blocksgreen_pos = get_position("green block")brown1_pos = get_position("brown block 1")brown2_pos = get_position("brown block 2")# pick up the first brown blockpick_up_object("brown block 1")# calculate the position to place the block on top of the green blockplace_pos = [green_pos[0], green_pos[1], green_pos[2]+40, 0, 0, 0]# place the first brown block on top of the green blockplace_object(place_pos)# pick up the second brown blockpick_up_object("brown block 2")# calculate the position to place the block on top of the first brown blockplace_pos = [green_pos[0], green_pos[1], green_pos[2]+80, 0, 0, 0]# place the second brown block on top of the first brown blockplace_object(place_pos)

此代碼使用 get_position 函數(shù)獲取綠色塊和兩個(gè)棕色塊的位置，使用我們之前定義的 pick_up_object 函數(shù)拾取第一個(gè)棕色塊，計(jì)算將第一個(gè)棕色塊放置在綠色塊頂部的位置，并使用我們之前定義的place_object函數(shù)將第一個(gè)棕色塊放在綠色塊的頂部。然后，它拾取第二個(gè)棕色塊，計(jì)算將第二個(gè)棕色塊放置在第一個(gè)棕色塊之上的位置，并使用我們之前定義的place_object函數(shù)將第二個(gè)棕色塊放在第一個(gè)棕色塊的頂部。請(qǐng)注意，我們將綠色塊的高度（40 mm）添加到前一個(gè)塊的高度上，以確保該塊放置在前一個(gè)塊的頂部。

用戶：

棒！我現(xiàn)在想使用這些塊在白墊上構(gòu)建微軟的徽標(biāo)。它由四種顏色組成，形成一個(gè)正方形，左下角為藍(lán)色，右下角為黃色，左上角為紅色，右上角為綠色。

聊天：

確定！以下是使用塊在白色墊上構(gòu)建Microsoft徽標(biāo)的Python代碼：

# get the positions of the blocks and the white padwhite_pad_pos = get_position("white pad")blue_pos = get_position("blue block")yellow_pos = get_position("yellow block")red_pos = get_position("red block")green_pos = get_position("green block")# pick up the blue blockpick_up_object("blue block")# calculate the position to place the blue blockplace_pos = [white_pad_pos[0]-20, white_pad_pos[1]-20, white_pad_pos[2]+40, 0, 0, 0]# place the blue block on the white padplace_object(place_pos)# pick up the yellow blockpick_up_object("yellow block")# calculate the position to place the yellow blockplace_pos = [white_pad_pos[0]+20, white_pad_pos[1]-20, white_pad_pos[2]+40, 0, 0, 0]# place the yellow block on the white padplace_object(place_pos)# pick up the red blockpick_up_object("red block")# calculate the position to place the red blockplace_pos = [white_pad_pos[0]-20, white_pad_pos[1]+20, white_pad_pos[2]+40, 0, 0, 0]# place the red block on the white padplace_object(place_pos)# pick up the green blockpick_up_object("green block")# calculate the position to place the green blockplace_pos = [white_pad_pos[0]+20, white_pad_pos[1]+20, white_pad_pos[2]+40, 0, 0, 0]# place the green block on the white padplace_object(place_pos)

此代碼使用 get_position 函數(shù)獲取白墊和所有四個(gè)塊的位置，使用我們之前定義的pick_up_object函數(shù)依次拾取每個(gè)塊，計(jì)算將塊放置在白墊上的位置，并使用我們之前定義的place_object函數(shù)將塊放在白墊上。我們使用塊顏色來確保正確構(gòu)建徽標(biāo)。我們將藍(lán)色塊放在左下角位置，黃色塊放在右下位置，紅色塊放在左上角位置，綠色塊放在右上角位置，如提示中指定。

將機(jī)器人技術(shù)帶出實(shí)驗(yàn)室，走向世界

我們很高興發(fā)布這些技術(shù)，旨在將機(jī)器人技術(shù)帶給更廣泛的受眾。我們相信，基于語言的機(jī)器人控制將是將機(jī)器人技術(shù)帶出科學(xué)實(shí)驗(yàn)室并交到日常用戶手中的基礎(chǔ)。

也就是說，我們確實(shí)強(qiáng)調(diào)，ChatGPT 的輸出并不意味著在沒有仔細(xì)分析的情況下直接部署在機(jī)器人上。我們鼓勵(lì)用戶利用仿真的強(qiáng)大功能，以便在潛在的實(shí)際部署之前評(píng)估這些算法，并始終采取必要的安全預(yù)防措施。我們的工作只代表了機(jī)器人領(lǐng)域大型語言模型交叉點(diǎn)的一小部分，我們希望激發(fā)未來的大部分工作。

審核編輯黃宇