女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

把ChatGPT塞進副駕駛!清華、中科院、MIT聯合提出Co-Pilot人機交互框架

智能感知與物聯網技術研究所 ? 來源:未知 ? 2023-11-20 09:10 ? 次閱讀

作為本年度人工智能領域最重要的突破之一,大語言模型相關研究始終是各大相關領域的關注焦點。

近日,來自清華大學、中國科學院、MIT的科研人員對于大語言模型在人機交互領域中的應用進行了研究,設計了一種名為Co-Pilot的人機交互框架,使用提示引導ChatGPT(gpt3.5)在考慮人主觀意圖的同時完成簡單的自動駕駛任務。 wKgaomVasxWANWtEAACJDGrqqG8021.png

論文標題:

ChatGPT as Your Vehicle Co-Pilot: An Initial Attempt

論文鏈接:

https://www.researchgate.net/publication/374800815_ChatGPT_as_Your_Vehicle_Co-Pilot_An_Initial_Attempt

該研究作為最早一批使用原生語言大模型直接介入自動駕駛任務的嘗試,揭示了大語言模型在自動駕駛領域進一步深入應用的可能性,也為后續相關研究指明了方向 [1]。

wKgaomVasxWAfVoRAAAl6LOgh3c866.png

研究背景:為什么使用大語言模型?

人車交互作為智能汽車發展的重要功能之一,對降低司機駕駛負擔、提升乘客出行體驗有很大幫助,相關功能也成為了消費者在選擇時的重要標準。 盡管現有人機交互系統已經可以實現語音識別、指令執行等功能,但大多數情況下系統僅能根據既定指令的訓練在有限范圍內給出回答或響應,存在一定的局限性。 相比之下,大語言模型在此類能力上具有更好的表現: 1. 可以理解人的意圖:大語言模型具有推理能力,其可以從文字中理解說話者的真正意圖,并給出相應的回應; 2. 擁有常識:得益于大量的訓練數據中包含的知識,大預言模型具有一定的常識,并掌握許多特定領域的基礎知識與能力; 3. 對于不同任務的高度適應性:通過調整提示詞,大語言模型對于不同任務具有很好的適應性,可快速適配不同種類的任務,極大提升了應用與落地的效率。 基于此,大語言模型為解決人機共駕問題提供了一種新的思路。 為了探索大語言模型在自動駕駛人機交互領域的應用,研究人員提出了「Co-Pilot」架構,用于實現乘客、大語言模型以及車輛之間的交互。 為了驗證方案的可行性,研究人員設計了兩個不同種類的任務對其進行測試,實驗效果達到了預期。

wKgaomVasxaACk5lAAAuhh9-KLM647.png

Co-Pilot:架構與核心 Co-Pilot架構如下圖所示:

wKgaomVasxaAN8_CAAQe80OGhHo120.png

Co-Pilot主體機構包含了以下模塊:

1. 編碼器:將必要的信息組成提示,通過專用API發送至大語言模型。

2. LLM:大語言模型,本工作使用ChatGPT(GPT3.5-turbo-0301)。

3. 解碼器:將自然語言回應解析為指令或數據,用于車輛的交互與控制。

4. 保險機制:考慮到大語言模型作為概率模型的本質,現階段難以杜絕其在回答中出錯,故預留該保險機制防止存在明顯錯誤的指令影響車輛運行。

5. 記憶機制:保存Co-Pilot完成任務所必須的數據及其他信息,作為輸入的重要組成部分,可在工作過程中被實時更新。

Co-Pilot主要擁有兩種工作流程:

1. 實現流程:Co-pilot依據不同任務完成一次工作周期的流程。

2. 調優流程:車輛專家依據不同任務調整記憶機制的前置優化流程。

記憶機制 本文按照人類認知心理學對大語言模型內部的知識儲存進行模擬[2],提出了記憶機制用來劃分自動駕駛場景中可能涉及到的信息,旨在全面提升Co-Pilot信息利用效率。

wKgaomVasxaAR_61AAFeAoYkHPg447.png

專家主導的黑箱優化 該方法利用黑箱優化中在低維空間進行無梯度優化的思想,利用專家的主觀標注來評估任務完成效果,從而更新記憶中的內容來增強提示詞,使得LLM進行少樣本學習。

wKgaomVasxaAEnGvAABy5aEgdBE347.png

wKgaomVasxaACjw6AAAtJ0fTuoM632.png

仿真實驗

為了驗證Co-Pilot架構的可靠性,本文設計了兩個任務,在以MATLAB/Simulink為基礎的仿真平臺中開展。 實驗一:軌跡跟隨控制器選擇 在該實驗中,假設有一輛自動控制的汽車在預設路徑上行駛,研究人員給定Co-Pilot當前車輛狀態、路段情況等信息,要求其選擇最符合當前乘客意圖(如保證速度、緊隨軌跡、體驗舒適)的運動控制器。 運動控制器為已有預設模塊,分別為NMPC控制器、Stanley + Preview控制器、PID控制器。wKgaomVasxaAfvE2AAVoOMsi5sw355.png▲賽道總覽

wKgaomVasxeAcgl3AAOHZ3I3cGg642.png

▲實驗一的Co-Pilot具體結構

在調優環節中,研究人員分別對語義記憶與情景記憶進行了更新,其中語義記憶僅能提供對控制器的種類(A1)或定性描述(A2),而情景記憶可以提供對控制器在過去相似場景下的具體表現(A3)。 賽道被分為五個區段,研究人員根據Co-Pilot是否在各區段選出了最符合當前乘客意圖的控制器進行打分(每個區段最優1分,次優0.5分,最差0分,賽道總分最高為5分),分析不同記憶對于Co-Pilot表現的影響,研究人員在「精確跟蹤」與「保持穩定」兩種意圖下分別測試,測試結果顯示,A1僅取得3分,Co-Pilot在所有區段均選擇了NMPC控制器。 由于此時提供的信息有限,其只能根據訓練中積攢的常識「NMPC的控制效果很好」做出判斷。A2取得了7.5分,而A3取得了8.5分,證明情景記憶在相似任務中對Co-Pilot的推理最有幫助,使其可結合人類意圖給出合理的反應。 接著,研究人員使用了調優后的A3提示模式開展了更復雜的實驗。在此實驗中,五個區段的人類意圖不再保持一致且引入了更口語化表達的新意圖「刺激」。 實驗結果如下圖所示,Co-Pilot在每個區段都能選出最符合乘客意圖的控制器(由于控制器在切換時受到上一區段的車輛狀態影響,導致被選控制器的效果與預期可能存在細微差異)。

wKgaomVasxeAdZ-9AAQhwVC8f88873.png

實驗二:雙移線避障軌跡規劃 在本實驗中,研究人員將重點轉移到規劃類任務,向Co-Pilot描述當前路況,并要求其給出未來10s內的路徑。

wKgaomVasxeACN2zAAEUB0kzmvE001.png

wKgaomVasxeAPv4MAAMX1EtZOxE410.png

在調優環節中,研究人員更加側重對于程序記憶的組織與優化,語義記憶與情景記憶中包含的信息基本不存在差異。在此的前提下,不同提示帶來的顯著結果差異更加值得深入探究。

wKgaomVasxeADavMAA4px9zIONw785.png

▲四種提示的區別以及十次測試的平均得分情況(打分依據:合理性滿分5分、完成度滿分3分、正確性滿分2分)

wKgaomVasxeAf9P1AAEZwm49ED4373.png▲四種提示下的代表軌跡 在使用B4提示的前提下,進一步引入不同種類的乘客意圖,得到的代表性軌跡如下,可以看出在給出正確避讓軌跡的基礎上,Co-Pilot可以進一步調整軌跡使其符合乘客意圖。

wKgaomVasxiAJfpdAAEG0jwhSMs524.png

▲不同乘客意圖的代表軌跡,均符合乘客意圖

wKgaomVasxiAcOctAAAr2pbNr48692.png

結果討論 實驗中我們可以注意到,提示中不同記憶的組合,對于LLM的表現有著顯著影響。 1. LLM可根據常識以及記憶中包含的信息進行推理,在提供的信息不足以實現合理推斷時,LLM可根據其訓練中積累的經驗做出決策; 3. 提示中的程序記憶在任務本身的描述上有時并不存在本質區別,但卻對LLM的表現產生了很大影響。 這些現象引出了后續可能值得研究的更多問題:類似交通等復雜場景應該如何高效描述以發揮LLM的優勢?LLM內部實現推理/完成任務的機制究竟如何?這些問題與大模型乃至人工智能的可解釋性、安全性等重要問題息息相關。 wKgaomVasxiAehcCAAAtTL4L6hI518.png未來展望與挑戰 Co-Pilot是一種創新的嘗試,它將LLM應用于人機混合智能[3]。LLM大大提高了人機通信的效率,使人類和機器更好地理解彼此。 人類專家對Co-Pilot進行調優的過程可以被視為系統的自適應學習。這使得深入的人機合作成為可能,并且在測試和調整人工智能系統方面具有巨大潛力。

wKgaomVasxiADncSAAF4HQLwDW4552.png

▲LLM與現有平行學習架構[4]相結合,可進一步提升機器學習的效率

另一方面,正如本文實驗中展示的,大語言模型通過海量數據訓練得到的常識能在其工作中發揮重要作用。 后續在此基礎上,多模態混合大模型(如視覺+語言模態)能夠進一步打通「感知-規劃-執行」的流程,使得此類大模型可勝任自動駕駛、機器人等需要與現實世界交互的復雜任務[5]。 當然,研究過程中涌現出的許多潛在挑戰也值得關注:例如,怎樣進一步提升LLM的性能?如何保證LLM表現得一致性、穩定性?在面對更復雜的動態場景時,如何保證LLM正確完成任務? wKgaomVasxiAQfTBAAAvmrE3n7I919.png 總結 本工作提出了一種將大語言模型直接用于人機共駕任務的Co-Pilot架構,并設計對應實驗初步證明了架構的可靠性以及大語言模型在自動駕駛類任務中的可適用性,討論了相關領域研究的潛在機遇及挑戰。 該項工作已于近日發表于IEEE Transactions on Intelligent Vehicles,來自清華大學深圳國際研究生院的王詩漪以及來自清華大學自動化系的朱宇軒為本文共同第一作者,通訊作者為清華大學自動化系李力教授。其他合著者為清華大學李志恒副教授,中科院自動化研究所王雨桐助理研究員,以及麻省理工學院賀正冰高級研究員。

wKgaomVasxiADrVVAAAC0jQz1zo926.svg

參考文獻

wKgaomVasxiADrVVAAAC0jQz1zo926.svg ?[1] S. Wang, Y. Zhu, Z. Li, Y. Wang, L. Li, Zhengbing He, "ChatGPT as your vehicle Co-Pilot: An initial attempt," IEEE Transactions on Intelligent Vehicles, https://ieeexplore.ieee.org/document/10286969/[2] T. Sumers, S. Yao, K. Narasimhan, T. L. Griffiths, “Cognitive Architectures for Language Agents.” arXiv, Sep. 05, 2023. doi: 10.48550/arXiv.2309.02427.[3] L. Li, Y. Lin, Y. Wang, F.-Y. Wang, "Simulation driven AI: From artificial to actual and vice versa," IEEE Intelligent Systems, vol. 38, no. 1, pp. 3-8, 2023.[4] L. Li, Y.-L. Lin, N.-N. Zheng, F.-Y. Wang, "Parallel learning: A perspective and a framework," IEEE/CAA Journal of Automatica Sinica, vol. 4, no. 3, pp. 389-395, 2017.[5] D. Fu, X. Li, L. Wen, M. Dou, P. Cai, B. Shi, Y. Qiao, “Drive Like a Human: Rethinking Autonomous Driving with Large Language Models,” arXiv, Jul. 14, 2023,doi: 10.48550/arXiv.2307.07162.


原文標題:把ChatGPT塞進副駕駛!清華、中科院、MIT聯合提出Co-Pilot人機交互框架

文章出處:【微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 物聯網
    +關注

    關注

    2927

    文章

    45910

    瀏覽量

    388281

原文標題:把ChatGPT塞進副駕駛!清華、中科院、MIT聯合提出Co-Pilot人機交互框架

文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    聲智科技全球首發新一代人機交互框架

    全球人工智能產業正經歷人機交互范式升級。過去兩個月中,以OpenAI、Meta為代表的行業領軍企業加速推進交互技術創新迭代,推動產業進入關鍵變革期。值得關注的是,a16z合伙人Olivia
    的頭像 發表于 05-12 10:28 ?222次閱讀
    聲智科技全球首發新一代<b class='flag-5'>人機交互</b><b class='flag-5'>框架</b>

    中科曙光助力中科院高能物理研究所打造溪悟大模型

    近年來,以大規模預訓練模型為代表的人工智能技術迅猛發展,為科研創新提供了全新范式。中科院高能物理研究所依托正負電子對撞機等大科學裝置,積累了海量高價值實驗數據,如何高效利用數據、加速成果產出,成為研究所面臨的核心課題。
    的頭像 發表于 05-06 15:19 ?224次閱讀

    聲學技術如何重構人機交互生態

    人機交互的底層邏輯。隨著非線性聲學計算與強化學習的深度融合,聲音交互正從“聽得見”邁向“聽得懂”,并逐漸成為 AI 時代的重要接口。
    的頭像 發表于 04-14 13:50 ?272次閱讀

    愛普生XV7021BB陀螺儀傳感器在人機交互中的應用

    在元宇宙、智能穿戴與工業自動化加速融合的今天,人機交互的核心挑戰已從“功能實現”轉向“體驗升維”。愛普生XV7021BB單軸陀螺儀傳感器憑借±400°/s高精度角速度測量0.0016°/s/°C
    的頭像 發表于 04-01 14:13 ?224次閱讀
    愛普生XV7021BB陀螺儀傳感器在<b class='flag-5'>人機交互</b>中的應用

    清華牽頭深開鴻參與:混合智能人機交互系統獲批立項

    近日,一個由清華大學牽頭、深開鴻重點參與的“面向混合智能的自然人機交互軟硬件系統”研發計劃項目,正式獲得了立項批準。該項目是國家“十四五”重點研發計劃“先進計算與新興軟件”專項中的一項關鍵核心技術
    的頭像 發表于 01-23 16:33 ?744次閱讀

    深開鴻參與國家重點研發項目,聚焦新型自然人機交互軟硬件前沿

    近日,由清華大學牽頭、深開鴻重點參與的“面向混合智能的自然人機交互軟硬件系統”研發計劃項目正式獲批立項。該項目屬于工業和信息化部主責的“十四五”國家重點研發計劃重點專項中的“先進計算與新興軟件”項目
    的頭像 發表于 01-22 16:12 ?446次閱讀
    深開鴻參與國家重點研發項目,聚焦新型自然<b class='flag-5'>人機交互</b>軟硬件前沿

    漢陽大學:研發自供電、原材料基傳感器,開啟人機交互新篇章

    近日, 韓國漢陽大學王偉教授團隊 在人機交互技術領域取得重要突破,提出了一種 自供電 、 原材料基 、 具有最小化信號通道數 的傳感器陣列設計方法。這一研究為傳感器在低成本、高效人機交互中的應用開辟
    的頭像 發表于 01-06 17:42 ?484次閱讀
    漢陽大學:研發自供電、原材料基傳感器,開啟<b class='flag-5'>人機交互</b>新篇章

    啟英泰倫新推出多意圖自然說,重塑離線人機交互新標準!

    智能語音識別技術作為人機交互領域的一場革命性突破,正逐步重塑我們與智能設備的交互方式。近期,啟英泰倫新推出了多意圖自然說技術,進一步增強了人機交互的自然流暢度與操作便捷性。AI語音2.0——多意
    的頭像 發表于 01-03 16:01 ?458次閱讀
    啟英泰倫新推出多意圖自然說,重塑離線<b class='flag-5'>人機交互</b>新標準!

    芯海科技ForceTouch3.0:重塑人機交互新境界

    在追求極致用戶體驗的智能時代,每一次技術的革新都是對未來的深度探索。芯海科技,作為業界領先的芯片設計企業,憑借其ForceTouch3.0技術,正引領著一場人機交互的變革,為智能手機、智能穿戴、家電乃至汽車電子等領域注入了全新的活力與可能。
    的頭像 發表于 11-28 09:20 ?573次閱讀
    芯海科技ForceTouch3.0:重塑<b class='flag-5'>人機交互</b>新境界

    具身智能對人機交互的影響

    在人工智能的發展歷程中,人機交互一直是研究的核心領域之一。隨著技術的進步,人機交互的方式也在不斷演變。從最初的命令行界面,到圖形用戶界面,再到現在的自然語言處理和語音識別,每一次技術的突破都極大
    的頭像 發表于 10-27 09:58 ?849次閱讀

    字節跳動與清華AIR成立聯合研究中心

    近日,清華大學智能產業研究(AIR)與字節跳動共同宣布成立“可擴展大模型智能技術聯合研究中心”(SIA Lab),并在清華大學舉行了隆重的成立儀式。
    的頭像 發表于 10-12 15:24 ?730次閱讀

    聚徽-工控一體機是如何實現人機交互

    工控一體機實現人機交互的方式是多種多樣的,結合搜索結果,我們可以歸納出以下幾種主要的實現方式:
    的頭像 發表于 09-10 09:31 ?596次閱讀

    基于傳感器的人機交互技術

    基于傳感器的人機交互技術是現代科技發展的重要領域之一,它極大地推動了人機交互的便捷性、自然性和智能性。本文將詳細探討基于傳感器的人機交互技術,包括其基本原理、關鍵技術、應用領域以及未來發展趨勢。
    的頭像 發表于 07-17 16:52 ?1553次閱讀

    人機交互界面是什么_人機交互界面的功能

    人機交互界面(Human-Computer Interaction Interface,簡稱HCI或HMI),也被稱為人機界面(MMI)、操作員界面終端(OIT)、本地操作員界面(LOI)或操作員
    的頭像 發表于 06-22 11:03 ?3974次閱讀

    工業平板電腦在人機交互中的應用

    工業平板電腦在人機交互(Human-Machine Interaction,HMI)中扮演著至關重要的角色,它們通過直觀的界面和強大的計算能力,極大地提升了工業環境下的操作效率和用戶體驗。以下是工業平板電腦在人機交互中的具體應用:
    的頭像 發表于 06-18 12:00 ?520次閱讀