女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深度強(qiáng)化學(xué)習(xí)打造的ANYmal登上Science子刊,真的超越了波士頓動(dòng)力!

悟空智能科技 ? 來源:lq ? 2019-01-28 14:12 ? 次閱讀

深度強(qiáng)化學(xué)習(xí)開發(fā)出的機(jī)器人模型通常很難應(yīng)用到真實(shí)環(huán)境中,因此機(jī)器人開發(fā)中鮮少使用該技術(shù)。然而這已經(jīng)板上釘釘了嗎?在兩天前引發(fā)人工智能界關(guān)注的 ANYmal 機(jī)器人中,其機(jī)動(dòng)性和適應(yīng)性看起來絲毫不遜色于波士頓動(dòng)力。其相關(guān)論文近期登上了 Science 子刊《Science Robotics》,并且明確指出使用了深度強(qiáng)化學(xué)習(xí)技術(shù)。基于 AI 技術(shù)的成功應(yīng)用,ANYmal 在數(shù)據(jù)驅(qū)動(dòng)的開發(fā)上或許會(huì)更有優(yōu)勢。

摘要:足式機(jī)器人是機(jī)器人學(xué)中最具挑戰(zhàn)性的主題之一。動(dòng)物動(dòng)態(tài)、敏捷的動(dòng)作是無法用現(xiàn)有人為方法模仿的。一種引人注目的方法是強(qiáng)化學(xué)習(xí),它只需要極少的手工設(shè)計(jì),能夠促進(jìn)控制策略的自然演化。然而,截至目前,足式機(jī)器人領(lǐng)域的強(qiáng)化學(xué)習(xí)研究還主要局限于模仿,只有少數(shù)相對(duì)簡單的例子被部署到真實(shí)環(huán)境系統(tǒng)中。主要原因在于,使用真實(shí)的機(jī)器人(尤其是使用帶有動(dòng)態(tài)平衡系統(tǒng)的真實(shí)機(jī)器人)進(jìn)行訓(xùn)練既復(fù)雜又昂貴。本文介紹了一種可以在模擬中訓(xùn)練神經(jīng)網(wǎng)絡(luò)策略并將其遷移到當(dāng)前最先進(jìn)足式機(jī)器人系統(tǒng)中的方法,因此利用了快速、自動(dòng)化、成本合算的數(shù)據(jù)生成方案。該方法被應(yīng)用到 ANYmal 機(jī)器人中,這是一款中型犬大小的四足復(fù)雜機(jī)器人系統(tǒng)。利用在模擬中訓(xùn)練的策略,ANYmal 獲得了之前方法無法實(shí)現(xiàn)的運(yùn)動(dòng)技能:它能精確、高效地服從高水平身體速度指令,奔跑速度比之前的機(jī)器人更快,甚至在復(fù)雜的環(huán)境中還能跌倒后爬起來。

圖 1:創(chuàng)建一個(gè)控制策略。第一步是確定機(jī)器人的物理參數(shù)并估計(jì)其中的不確定性。第二步是訓(xùn)練一個(gè)致動(dòng)器網(wǎng)絡(luò),建模復(fù)雜的致動(dòng)器/軟件動(dòng)力機(jī)制。第三步是利用前兩步中得到的模型訓(xùn)練一個(gè)控制策略。第四步是直接在物理系統(tǒng)中部署訓(xùn)練好的策略。

結(jié)果

視頻展示了結(jié)果和方法。

基于命令的運(yùn)動(dòng)

圖 2:習(xí)得運(yùn)動(dòng)控制器的量化評(píng)估結(jié)果。A. 發(fā)現(xiàn)的步態(tài)模式按速度指令以 1.0 m/s 的速度運(yùn)行。LF 表示左前腿,RF 表示右前腿,LH 表示左后腿,RH 表示右后腿。B. 使用本文方法得到的基礎(chǔ)速度的準(zhǔn)確率。C-E. 本文習(xí)得控制器與現(xiàn)有最佳控制器在能耗、速度誤差、扭矩大小方面的對(duì)比,給定的前進(jìn)速度指令為 0.25、0.5、0.75 和 1.0 m/s。

高速運(yùn)動(dòng)

圖 3:對(duì)高速運(yùn)動(dòng)訓(xùn)練策略的評(píng)估結(jié)果。A. ANYmal 的前進(jìn)速度。B. 關(guān)節(jié)速度。C. 關(guān)節(jié)扭矩。D. 步態(tài)模式。

跌倒后的恢復(fù)

圖 4:在真實(shí)機(jī)器人上部署的恢復(fù)控制器。該研究學(xué)到的策略成功使機(jī)器人在 3 秒內(nèi)從隨機(jī)初始配置中恢復(fù)。

材料和方法

這一部分會(huì)詳細(xì)描述模擬環(huán)境、訓(xùn)練過程和在物理環(huán)境中的部署。圖 5 是訓(xùn)練方法概覽。訓(xùn)練過程如下:剛體模擬器會(huì)根據(jù)關(guān)節(jié)扭矩和當(dāng)前狀態(tài)輸出機(jī)器人的下一個(gè)狀態(tài)。關(guān)節(jié)速度和位置誤差會(huì)被緩存在有限時(shí)間窗口的關(guān)節(jié)狀態(tài)歷史中。由帶兩個(gè)隱藏層的 MLP 實(shí)現(xiàn)的控制策略會(huì)將當(dāng)前狀態(tài)和關(guān)節(jié)狀態(tài)歷史的觀察結(jié)果映射為關(guān)節(jié)位置目標(biāo)。最后,致動(dòng)器網(wǎng)絡(luò)會(huì)將關(guān)節(jié)狀態(tài)歷史和關(guān)節(jié)位置目標(biāo)映射為 12 個(gè)關(guān)節(jié)扭矩值,然后進(jìn)入下一個(gè)訓(xùn)練循環(huán)。

圖 5:模擬過程中的訓(xùn)練控制策略。

建模剛體動(dòng)力機(jī)制

為了在合理時(shí)間內(nèi)有效訓(xùn)練復(fù)雜的策略,并將其遷移到現(xiàn)實(shí)世界,我們需要一種又快又準(zhǔn)確的模擬平臺(tái)。開發(fā)行走機(jī)器人的最大挑戰(zhàn)之一是非連續(xù)接觸的動(dòng)力機(jī)制建模。為此,研究者使用了之前工作中開發(fā)出的剛體接觸求解器 [41]。這個(gè)接觸求解器使用了一個(gè)完全遵循庫倫摩擦錐約束的硬接觸模型。這種建模技術(shù)可以準(zhǔn)確地捕獲一系列剛體和環(huán)境進(jìn)行硬接觸時(shí)的真實(shí)動(dòng)力機(jī)制。該求解器能準(zhǔn)確而快速地在臺(tái)式計(jì)算機(jī)上每秒生成模擬四足動(dòng)物的 90 萬個(gè)時(shí)間步。

連接的慣性是從 CAD 模型估計(jì)出來的。研究者預(yù)期估計(jì)會(huì)達(dá)到 20% 的誤差因?yàn)闆]有建模布線和電子器件。為了考慮這些建模不確定性,研究者通過隨機(jī)采樣慣性訓(xùn)練了 30 種不同的 ANYmal 模型來使得策略更加穩(wěn)健。質(zhì)心位置、連接的質(zhì)量和關(guān)節(jié)位置分別通過添加從 U(?2, 2) cm、U(?15, 15)%、 U(?2, 2) cm 中采樣的噪聲進(jìn)行隨機(jī)化。

建模致動(dòng)器

圖 6:學(xué)得致動(dòng)器模型的驗(yàn)證結(jié)果。

強(qiáng)化學(xué)習(xí)

研究者展示了離散時(shí)間中的控制問題。在每個(gè)時(shí)間步 t,智能體獲取觀測結(jié)果 o_t ∈O,執(zhí)行動(dòng)作 a_t ∈A,獲取標(biāo)量獎(jiǎng)勵(lì) r_t ∈ ?。研究者所指獎(jiǎng)勵(lì)和成本是可以互換的,因?yàn)槌杀揪褪秦?fù)的獎(jiǎng)勵(lì)。研究者用 O_t = 〈o_t, o_t ? 1, …, o_t ? h〉表示近期觀測結(jié)果的元組。智能體根據(jù)隨機(jī)策略 π(a_t|O_t) 選擇動(dòng)作,該隨機(jī)策略是基于近期觀測結(jié)果的動(dòng)作分布。其目的在于找到在無窮水平中使折扣獎(jiǎng)勵(lì)總和最大化的策略:

其中 γ ∈ (0, 1) 是折扣因子,τ(π) 是在策略 π 下的軌跡分布(該策略和環(huán)境動(dòng)態(tài)下的分布)。在研究設(shè)置中,觀測結(jié)果是評(píng)估機(jī)器人狀態(tài)的指標(biāo)(向控制器提供),動(dòng)作是向致動(dòng)器傳達(dá)的位置命令,獎(jiǎng)勵(lì)是指定的(以誘導(dǎo)感興趣的行為)。

多種強(qiáng)化學(xué)習(xí)算法可應(yīng)用于這個(gè)指定策略優(yōu)化問題。研究者選擇了置信域策略優(yōu)化(TRPO),該算法可在模擬中學(xué)習(xí)運(yùn)動(dòng)策略。它幾乎不需要調(diào)參,論文中所有學(xué)習(xí)會(huì)話都僅使用默認(rèn)參數(shù)([22, 54] 提供的參數(shù))。研究者使用了該算法的快速自定義實(shí)現(xiàn) [55]。這一高效實(shí)現(xiàn)和快速剛體模擬 [41] 可在約 4 小時(shí)內(nèi)生成和處理 2.5 億狀態(tài)轉(zhuǎn)換。當(dāng)該策略的平均性能在 300 個(gè) TRPO 迭代中的改進(jìn)沒有超過任務(wù)特定閾值時(shí),學(xué)習(xí)會(huì)話終止。

在物理系統(tǒng)上部署

研究者用 ANYmal 機(jī)器人來展示其方法在真實(shí)環(huán)境中的適用性,如圖 1 中步驟 4 所示。ANYmal 是一種體型與狗差不多的四足機(jī)器人,重 32kg。每只足約 55 厘米長,且有三個(gè)驅(qū)動(dòng)自由度,即髖部外展/內(nèi)收、髖關(guān)節(jié)屈/伸、膝關(guān)節(jié)屈/伸。

ANYmal 有 12 個(gè) SEA。一個(gè) SEA 由一個(gè)電動(dòng)機(jī)、一個(gè)高傳動(dòng)比傳動(dòng)裝置、一個(gè)彈性元件和兩個(gè)旋轉(zhuǎn)編碼器組成。它可以測量彈簧偏移和輸出位置。在本文中,研究者在 ANYmal 機(jī)器人的關(guān)節(jié)級(jí)促動(dòng)器模塊上使用了具有低反饋收益的關(guān)節(jié)級(jí) PD 控制器。促動(dòng)器的動(dòng)態(tài)包含多個(gè)連續(xù)的組件,如下所示。首先,使用 PD 控制器將位置指令轉(zhuǎn)換成期望的扭矩。接著,使用來自期望扭矩的 PID 控制器計(jì)算期望電流。然后,用磁場定向控制器將期望電流轉(zhuǎn)換成相電壓,該控制器在變速器的輸入端產(chǎn)生扭矩。變速器的輸出端與彈性元件相連,彈性元件的偏移最終在關(guān)節(jié)處生成扭矩。這些高度復(fù)雜的動(dòng)態(tài)引入了很多隱藏的內(nèi)部狀態(tài),研究者無法直接訪問這些內(nèi)部狀態(tài)并復(fù)雜化其控制問題。

從混合模擬中為訓(xùn)練策略獲得參數(shù)集后,在真實(shí)系統(tǒng)上的部署變得簡單多了。定制的 MLP 實(shí)現(xiàn)和訓(xùn)練好的參數(shù)集被導(dǎo)到機(jī)器人的機(jī)載 PC 上。當(dāng)這個(gè)網(wǎng)絡(luò)在 200Hz 時(shí),其狀態(tài)被評(píng)估為基于命令/高速的運(yùn)動(dòng),在 100Hz 時(shí)被評(píng)估為從墜落中恢復(fù)。研究者發(fā)現(xiàn),其性能出人意料地對(duì)控制率不敏感。例如,在 20 Hz 時(shí)訓(xùn)練恢復(fù)運(yùn)動(dòng)與在 100 Hz 時(shí)性能一致。這可能是因?yàn)榉D(zhuǎn)行為涉及低關(guān)節(jié)速度(大部分低于 6 弧度/秒)。更動(dòng)態(tài)的行為(如運(yùn)動(dòng))通常需要更高的控制率才能獲得足夠的性能。實(shí)驗(yàn)中使用了更高的頻率(100 Hz),因?yàn)檫@樣噪音更少。甚至在 100 Hz 時(shí),對(duì)網(wǎng)絡(luò)的評(píng)估僅使用了單個(gè) CPU 核上可用計(jì)算的 0.25 %。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:真的超越了波士頓動(dòng)力!深度強(qiáng)化學(xué)習(xí)打造的 ANYmal 登上 Science 子刊

文章出處:【微信號(hào):WUKOOAI,微信公眾號(hào):悟空智能科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    18個(gè)常用的強(qiáng)化學(xué)習(xí)算法整理:從基礎(chǔ)方法到高級(jí)模型的理論技術(shù)與代碼實(shí)現(xiàn)

    本來轉(zhuǎn)自:DeepHubIMBA本文系統(tǒng)講解從基本強(qiáng)化學(xué)習(xí)方法到高級(jí)技術(shù)(如PPO、A3C、PlaNet等)的實(shí)現(xiàn)原理與編碼過程,旨在通過理論結(jié)合代碼的方式,構(gòu)建對(duì)強(qiáng)化學(xué)習(xí)算法的全面理解。為確保內(nèi)容
    的頭像 發(fā)表于 04-23 13:22 ?291次閱讀
    18個(gè)常用的<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>算法整理:從基礎(chǔ)方法到高級(jí)模型的理論技術(shù)與代碼實(shí)現(xiàn)

    詳解RAD端到端強(qiáng)化學(xué)習(xí)后訓(xùn)練范式

    受限于算力和數(shù)據(jù),大語言模型預(yù)訓(xùn)練的 scalinglaw 已經(jīng)趨近于極限。DeepSeekR1/OpenAl01通過強(qiáng)化學(xué)習(xí)后訓(xùn)練涌現(xiàn)強(qiáng)大的推理能力,掀起新一輪技術(shù)革新。
    的頭像 發(fā)表于 02-25 14:06 ?489次閱讀
    詳解RAD端到端<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>后訓(xùn)練范式

    淺談適用規(guī)模充電站的深度學(xué)習(xí)有序充電策略

    深度強(qiáng)化學(xué)習(xí)能夠有效計(jì)及電動(dòng)汽車出行模式和充電需求的不確定性,實(shí)現(xiàn)充電場站充電成本化的目標(biāo)。通過對(duì)電動(dòng)汽車泊車時(shí)間和充電需求特征進(jìn)行提取,建立適用于大規(guī)模電動(dòng)汽車有序充電的馬爾可夫決策過程模型,并
    的頭像 發(fā)表于 02-08 15:00 ?465次閱讀
    淺談適用規(guī)模充電站的<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>有序充電策略

    波士頓機(jī)器人滑環(huán)的技術(shù)特點(diǎn)與應(yīng)用前景

    機(jī)器人滑環(huán)在現(xiàn)代自動(dòng)化和機(jī)器人技術(shù)中扮演著至關(guān)重要的角色。作為一種關(guān)鍵的機(jī)械組件,滑環(huán)允許機(jī)器人在旋轉(zhuǎn)和移動(dòng)的過程中保持穩(wěn)定的電信號(hào)和數(shù)據(jù)傳輸。波士頓機(jī)器人滑環(huán)作為行業(yè)中的領(lǐng)先產(chǎn)品,具有多項(xiàng)獨(dú)特的技術(shù)特點(diǎn)和優(yōu)勢,為各種機(jī)器人系統(tǒng)的高效運(yùn)作提供保障。
    的頭像 發(fā)表于 02-06 17:06 ?285次閱讀

    波士頓動(dòng)力與RAI Institute聯(lián)手推進(jìn)人形機(jī)器人技術(shù)

    的性能。 根據(jù)合作計(jì)劃,波士頓動(dòng)力與RAI Institute將攜手為新型電動(dòng)Atlas機(jī)器人打造一個(gè)共享的強(qiáng)化學(xué)習(xí)訓(xùn)練管道。該管道旨在構(gòu)建動(dòng)態(tài)且可推廣的移動(dòng)操作行為,從而大幅提升At
    的頭像 發(fā)表于 02-06 14:12 ?595次閱讀

    螞蟻集團(tuán)收購邊塞科技,吳翼出任強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)室首席科學(xué)家

    近日,專注于模型賽道的初創(chuàng)企業(yè)邊塞科技宣布被螞蟻集團(tuán)收購。據(jù)悉,此次交易完成后,邊塞科技將保持獨(dú)立運(yùn)營,而原投資人已全部退出。 與此同時(shí),螞蟻集團(tuán)近期宣布成立強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)室,旨在推動(dòng)大模型強(qiáng)化學(xué)習(xí)
    的頭像 發(fā)表于 11-22 11:14 ?1340次閱讀

    NPU在深度學(xué)習(xí)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為其核心驅(qū)動(dòng)力之一,已經(jīng)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和價(jià)值。NPU(Neural Processing Unit,神經(jīng)網(wǎng)絡(luò)處理單元)是專門為深度
    的頭像 發(fā)表于 11-14 15:17 ?1719次閱讀

    如何使用 PyTorch 進(jìn)行強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL)是一種機(jī)器學(xué)習(xí)方法,它通過與環(huán)境的交互來學(xué)習(xí)如何做出決策,以最大化累積獎(jiǎng)勵(lì)。PyTorch 是一個(gè)流行的開源機(jī)器學(xué)習(xí)庫,
    的頭像 發(fā)表于 11-05 17:34 ?936次閱讀

    AI大模型與深度學(xué)習(xí)的關(guān)系

    人類的學(xué)習(xí)過程,實(shí)現(xiàn)對(duì)復(fù)雜數(shù)據(jù)的學(xué)習(xí)和識(shí)別。AI大模型則是指模型的參數(shù)數(shù)量巨大,需要龐大的計(jì)算資源來進(jìn)行訓(xùn)練和推理。深度學(xué)習(xí)算法為AI大模型提供
    的頭像 發(fā)表于 10-23 15:25 ?2698次閱讀

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得

    for Science的技術(shù)支撐”的學(xué)習(xí)心得,可以從以下幾個(gè)方面進(jìn)行歸納和總結(jié): 1. 技術(shù)基礎(chǔ)的深入理解 在閱讀第二章的過程中,我對(duì)于AI for Science所需的技術(shù)基礎(chǔ)有
    發(fā)表于 10-14 09:16

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第一章人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得

    人工智能:科學(xué)研究的加速器 第一章清晰地闡述人工智能作為科學(xué)研究工具的強(qiáng)大功能。通過機(jī)器學(xué)習(xí)深度學(xué)習(xí)等先進(jìn)技術(shù),AI能夠處理和分析海量數(shù)據(jù),發(fā)現(xiàn)傳統(tǒng)方法難以捕捉的模式和規(guī)律。這不
    發(fā)表于 10-14 09:12

    谷歌AlphaChip強(qiáng)化學(xué)習(xí)工具發(fā)布,聯(lián)發(fā)科天璣芯片率先采用

    近日,谷歌在芯片設(shè)計(jì)領(lǐng)域取得了重要突破,詳細(xì)介紹其用于芯片設(shè)計(jì)布局的強(qiáng)化學(xué)習(xí)方法,并將該模型命名為“AlphaChip”。據(jù)悉,AlphaChip有望顯著加速芯片布局規(guī)劃的設(shè)計(jì)流程,并幫助芯片在性能、功耗和面積方面實(shí)現(xiàn)更優(yōu)表現(xiàn)。
    的頭像 發(fā)表于 09-30 16:16 ?647次閱讀

    安波福入選BCG“2024年最具創(chuàng)新力企業(yè)”

    近日,安波福以卓越的創(chuàng)新能力和戰(zhàn)略遠(yuǎn)見,入選波士頓咨詢公司(BCG)最新發(fā)布的《2024年最具創(chuàng)新力企業(yè)》報(bào)告。
    的頭像 發(fā)表于 08-16 14:31 ?1026次閱讀

    NVIDIA推出全新深度學(xué)習(xí)框架fVDB

    在 SIGGRAPH 上推出的全新深度學(xué)習(xí)框架可用于打造自動(dòng)駕駛汽車、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。
    的頭像 發(fā)表于 08-01 14:31 ?1029次閱讀

    深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的對(duì)比

    在人工智能的浪潮中,機(jī)器學(xué)習(xí)深度學(xué)習(xí)無疑是兩大核心驅(qū)動(dòng)力。它們各自以其獨(dú)特的方式推動(dòng)著技術(shù)的進(jìn)步,為眾多領(lǐng)域帶來了革命性的變化。然而,盡管它們都屬于機(jī)器
    的頭像 發(fā)表于 07-01 11:40 ?2237次閱讀