摘要

在開發(fā)出能夠讓這些智能智能體與人類共存的解決方案之前，自動(dòng)駕駛汽車的廣泛采用不會(huì)成為現(xiàn)實(shí)。這包括安全有效地與人類駕駛的車輛交互，特別是在沖突和競(jìng)爭(zhēng)場(chǎng)景中。 我們?cè)谥瓣P(guān)于社會(huì)意識(shí)導(dǎo)航的工作的基礎(chǔ)上，借用了心理學(xué)中的社會(huì)價(jià)值取向概念，即一個(gè)人對(duì)他人福利的重視程度，以誘導(dǎo)自動(dòng)駕駛中的利他行為。與現(xiàn)有的明確模擬人類駕駛員行為并依靠他們的預(yù)期反應(yīng)來創(chuàng)造合作機(jī)會(huì)的工作相比，我們的交感合作駕駛（SymCoDrive）范式訓(xùn)練利他主義的智能體，在競(jìng)爭(zhēng)性的駕駛場(chǎng)景中實(shí)現(xiàn)安全和平穩(wěn)的交通流，只需通過經(jīng)驗(yàn)學(xué)習(xí)，無需任何明確協(xié)調(diào)。 由于這種利他行為，我們證明了安全性和交通水平指標(biāo)的顯著改善，并得出重要的結(jié)論，智能體的利他主義水平需要適當(dāng)?shù)恼{(diào)整，因?yàn)檫^于利他的智能體也會(huì)導(dǎo)致次優(yōu)交通流。

I.簡(jiǎn)介

下一代交通系統(tǒng)將通過聯(lián)網(wǎng)的自動(dòng)駕駛車輛變得更安全、更高效。車對(duì)車(V2V)通信使自動(dòng)駕駛汽車(AVs)能夠構(gòu)成一種大眾智能形式，克服單一智能體以分散方式規(guī)劃的局限性[1]。如果道路上的所有車輛都是連接和自動(dòng)駕駛的，V2V可以讓它們協(xié)調(diào)和處理需要無私的復(fù)雜駕駛場(chǎng)景，例如，并入和退出高速公路，以及穿過十字路口[2]。

然而，由于自動(dòng)駕駛汽車和人類駕駛汽車(HVs)的機(jī)動(dòng)性和反應(yīng)時(shí)間不同，它們共享的道路自然會(huì)成為競(jìng)爭(zhēng)場(chǎng)景。與完全自動(dòng)駕駛的情況相比，這里的HV和AV之間的協(xié)調(diào)并不那么直接，因?yàn)锳V沒有明確的與人類協(xié)調(diào)的手段，因此需要在當(dāng)?shù)乜紤]到它們附近的其他HV和AV。 為了進(jìn)一步闡述這一需求，假設(shè)圖1中描述的合并場(chǎng)景。合并車輛(HV或AV)在高速公路上面對(duì)一群混合的AV和HV，需要它們減速以便合并。

圖1：無縫和安全的高速公路并線需要所有的AV共同合作，并考慮到人類駕駛車輛的效用。 (上圖）利己主義的自動(dòng)駕駛汽車只為自己的效用而優(yōu)化，（下圖）利他主義的自動(dòng)駕駛汽車在自己的福利上做出妥協(xié)，以顧及人類駕駛的車輛。

如果AVs自顧自地行動(dòng)，那就得靠高速公路上的HVs來允許并線。由于人類的行為難以預(yù)測(cè)和不同，僅依靠人類駕駛員可能導(dǎo)致次優(yōu)甚至不安全的情況。在這個(gè)特殊的例子中，假設(shè)是利己主義的AV，并線的車輛要么卡在并線匝道上，無法并線，要么等待HV，在不知道HV是否會(huì)減速的情況下冒險(xiǎn)切入高速路。

另一方面，利他型自動(dòng)駕駛汽車可以協(xié)同工作，引導(dǎo)高速公路上的交通，例如，如圖1(b)中AV3所做的那樣，通過減速后面的車輛，以實(shí)現(xiàn)無縫和安全的合并。這種利他主義的自動(dòng)駕駛智能體可以在復(fù)雜的駕駛場(chǎng)景中創(chuàng)造出社會(huì)理想的結(jié)果，而不依賴于人類駕駛員的行為或?qū)ζ溥M(jìn)行假設(shè)。

自動(dòng)駕駛汽車的利他行為可以通過量化每輛汽車將其他車輛(無論是HV還是AV)的效用納入其局部效用函數(shù)的意愿來形式化。這個(gè)概念被定義為社會(huì)價(jià)值取向（SVO），最近已從心理學(xué)文獻(xiàn)中被用于機(jī)器人和人工智能研究[3]。SVO決定了智能體人在他人面前表現(xiàn)出利己主義或利他主義的程度。

圖1(b)展示了AV的利他行為的一個(gè)例子，它們?yōu)楹喜⒌腍V創(chuàng)造了一個(gè)安全的走廊，并實(shí)現(xiàn)了無縫合并。在混合自治的情況下，智能體要么是具有相同的SVO的同質(zhì)性，要么可以直接獲得對(duì)方的SVO（通過V2V）。

然而，HV的效用和SVO是未知的，因?yàn)樗鼈兪侵饔^的和不穩(wěn)定的，因此無法傳達(dá)給AV。

現(xiàn)有的社會(huì)導(dǎo)航工作通過預(yù)測(cè)人類駕駛者的行為[4]并避免與他們發(fā)生沖突，或者依賴于人類自然愿意或可以被激勵(lì)合作的假設(shè)[5]。通過明確地對(duì)人類行為進(jìn)行建模，智能體可以利用合作機(jī)會(huì)，以實(shí)現(xiàn)對(duì)人類和自動(dòng)駕駛智能體都有利的社會(huì)目標(biāo)。然而，由于受疲勞、分心和壓力的影響，模型的時(shí)間變化以及信念建模技術(shù)對(duì)其他智能體行為的可擴(kuò)展性，人類行為的建模往往具有挑戰(zhàn)性，因此限制了上述方法的實(shí)用性。基于模型預(yù)測(cè)控制(MPC)的方法通常需要設(shè)計(jì)成本函數(shù)和集中協(xié)調(diào)器[6]。因此，它們不適合協(xié)同自動(dòng)駕駛，因?yàn)橹醒雲(yún)f(xié)調(diào)是不可行的。

另一方面，數(shù)據(jù)驅(qū)動(dòng)的解決方案，如強(qiáng)化學(xué)習(xí)，在混合自治多智能體系統(tǒng)中受到挑戰(zhàn)，主要是由于智能體在非穩(wěn)定的環(huán)境中同時(shí)進(jìn)化。

考慮到這些缺點(diǎn)，自動(dòng)駕駛汽車中的利他主義概念可以分為自動(dòng)駕駛智能體內(nèi)部的合作和自動(dòng)駕駛智能體與人類司機(jī)之間的共情。將這兩部分分開有助于我們分別探究它們對(duì)實(shí)現(xiàn)社會(huì)目標(biāo)的影響。我們的主要觀點(diǎn)是，確定一個(gè)社會(huì)效用函數(shù)可以在分散的自動(dòng)駕駛智能體中誘發(fā)利他主義，并激勵(lì)它們相互合作，在沒有明確協(xié)調(diào)或人類SVO信息的情況下共情人類司機(jī)。我們所依賴的核心區(qū)別思想是，自動(dòng)駕駛汽車經(jīng)過訓(xùn)練，可以為所有車輛達(dá)到最佳解決方案，學(xué)會(huì)僅從經(jīng)驗(yàn)中隱式地建模人類的決策過程。我們研究利他型自動(dòng)駕駛汽車在缺乏共情和合作的情況下會(huì)變成安全威脅的行為。

換句話說，我們?cè)谂c圖1中描述的性質(zhì)相似的場(chǎng)景中進(jìn)行實(shí)驗(yàn)，這些場(chǎng)景基本上要求所有智能體一起工作，任何一個(gè)智能體都不能單獨(dú)獲得成功。我們的主要貢獻(xiàn)有以下幾點(diǎn)：

● 我們提出了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的框架--交感合作駕駛（SymCoDrive），它結(jié)合了一個(gè)分散的獎(jiǎng)勵(lì)結(jié)構(gòu)來模擬合作和交感，并采用三維卷積深度強(qiáng)化學(xué)習(xí)（DRL）架構(gòu)來捕捉駕駛數(shù)據(jù)中的時(shí)間信息，

● 我們展示了調(diào)整汽車中的利他主義水平如何導(dǎo)致不同的新興行為，并影響交通流和駕駛安全，

● 我們?cè)诟咚俟泛喜?chǎng)景中進(jìn)行了實(shí)驗(yàn)，并證明我們的方法與利己主義的自動(dòng)駕駛智能體相比，能提高駕駛安全性和社會(huì)理想的行為。

II.相關(guān)工作

多智能體強(qiáng)化學(xué)習(xí)。多智能體強(qiáng)化學(xué)習(xí)（MARL）的一個(gè)主要挑戰(zhàn)是環(huán)境的非平穩(wěn)性。Foerster等人提出一個(gè)新的學(xué)習(xí)規(guī)則來解決這個(gè)問題[7]。

此外，通過從經(jīng)驗(yàn)重放緩沖器中提取訓(xùn)練樣本進(jìn)行裝飾的想法變得過時(shí)了，可以采用重要性采樣的多智能體推導(dǎo)，從重放緩沖器中刪除過時(shí)的樣本[8]。Xie等人也試圖通過使用伙伴策略的潛在表征來緩解這一問題，以實(shí)現(xiàn)更可擴(kuò)展的MARL和伙伴建模[9]。

Foerster等人提出的反事實(shí)多智能體（COMA）算法使用集中的批評(píng)者和分散的行動(dòng)者來解決多智能體環(huán)境中的信用分配問題[10]。在集中控制的情況下，對(duì)環(huán)境具有完全可觀察性的深度Q網(wǎng)絡(luò)可以用來控制一組智能體的聯(lián)合行動(dòng)[11]。在混合自治的背景下，現(xiàn)有的文獻(xiàn)側(cè)重于通過對(duì)自治智能體（或自治智能體和人類）之間互動(dòng)的性質(zhì)進(jìn)行假設(shè)來解決合作和競(jìng)爭(zhēng)問題[12]。與這些工作相反，我們假設(shè)部分可觀察性和分散的獎(jiǎng)勵(lì)函數(shù)，并旨在訓(xùn)練交感合作自動(dòng)駕駛智能體，不假設(shè)人類的行為。

混合自動(dòng)駕駛中的自動(dòng)駕駛。人類的駕駛方式可以通過逆向RL或采用統(tǒng)計(jì)模型從示范中學(xué)習(xí)[5], [13], [14]。對(duì)人類駕駛行為進(jìn)行建模，可以幫助自動(dòng)駕駛汽車確定與人類創(chuàng)造合作和互動(dòng)機(jī)會(huì)的潛力，以實(shí)現(xiàn)安全和高效的導(dǎo)航[15]。此外，人類駕駛員能夠通過觀察鄰近車輛軌跡的細(xì)微變化，直觀地預(yù)測(cè)它們的下一步行動(dòng)，并在需要時(shí)利用預(yù)測(cè)結(jié)果主動(dòng)行動(dòng)。受到這一事實(shí)的啟發(fā)，Sadigh等人揭示了自動(dòng)駕駛汽車如何利用人類的這種有遠(yuǎn)見的行為來塑造和影響他們的行為。在宏觀層面上，之前的工作已經(jīng)證明了在混合自動(dòng)駕駛場(chǎng)景中出現(xiàn)的人類行為，并研究如何利用這些模式來控制和穩(wěn)定交通流[16], [17]。與我們的主題密切相關(guān)的是，最近在社交機(jī)器人導(dǎo)航方面的工作顯示了與人類合作規(guī)劃和互動(dòng)的潛力[4]，[18]，[19]。

III.

多車交互問題

部分可觀測(cè)隨機(jī)對(duì)策(POSG)。 我們用元組MG:= (Z,s， [Ai]， [oi]， P， [Ti])定義的隨機(jī)對(duì)策來描述i = 1時(shí)的多車交互問題。， N，其中Z是一個(gè)有限的智能體集合，s表示狀態(tài)空間，包括N個(gè)智能體可以采用的所有可能的形式。在給定時(shí)間，智能體接收到局部觀測(cè)oi:S→Oi，并基于隨機(jī)策略πi: Oi x Ai→[0,1]在動(dòng)作空間ai ? Ai內(nèi)采取動(dòng)作。

因此，智能體過渡到一個(gè)新的狀態(tài)si,，該狀態(tài)是根據(jù)狀態(tài)轉(zhuǎn)換函數(shù)Pr(s, |s, a): S xA1 x ... xAN → S確定的，并獲得一個(gè)獎(jiǎng)勵(lì)ri : S x Ai → R。目標(biāo)是推導(dǎo)出一個(gè)最優(yōu)策略π *，使無限時(shí)間范圍內(nèi)未來獎(jiǎng)勵(lì)的貼現(xiàn)總和最大化。

在部分可觀察隨機(jī)對(duì)策(POSG)中，狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)函數(shù)通常是未知的，智能體只能訪問與狀態(tài)相關(guān)的局部觀測(cè)。 采用多代理強(qiáng)化學(xué)習(xí)，獨(dú)立的MARL代理可以一起工作，克服單一代理的物理限制，并超越他們[20]。在多車問題中，通過一個(gè)集中的MARL控制器來控制車輛是相當(dāng)直接的，該控制器對(duì)環(huán)境具有完全的可觀察性，并為所有車輛分配一個(gè)集中的聯(lián)合獎(jiǎng)勵(lì) (Vi, j : ri 三 rj )。然而，這樣的假設(shè)在現(xiàn)實(shí)世界的自動(dòng)駕駛應(yīng)用中是不可行的，我們更關(guān)注分散的情況，即車輛具有部分可觀察性，并且不知道對(duì)方的行動(dòng)。在這種情況下，代理人之間的協(xié)調(diào)預(yù)計(jì)將來自于我們引入的分散的獎(jiǎng)勵(lì)函數(shù)，該函數(shù)使用本地觀察來估計(jì)其他車輛的效用。

深度Q網(wǎng)絡(luò)（DQN）。Q-learning已被廣泛應(yīng)用于具有大狀態(tài)空間的強(qiáng)化學(xué)習(xí)問題中，它定義了一個(gè)狀態(tài)值函數(shù) Qπ (s, a) := 以得出最優(yōu)策略 π * (s) = arg maxaQ* (s, a) 其中 γ∈ [0, 1) 是一個(gè)折扣系數(shù)。 DQN[21]使用一個(gè)具有權(quán)重w的神經(jīng)網(wǎng)絡(luò)，通過執(zhí)行小批量梯度下降步驟來估計(jì)狀態(tài)-行動(dòng)價(jià)值函數(shù)，即 wi+1 = 其中損失函數(shù)被定義為，

而是對(duì)wi處梯度的估計(jì)，wo是目標(biāo)網(wǎng)絡(luò)的權(quán)重，在訓(xùn)練中得到定期更新。(s, a, r, s’) 的集合從經(jīng)驗(yàn)重放緩沖器中隨機(jī)抽取，以消除方程（1）中訓(xùn)練樣本的相關(guān)性。當(dāng)代理人的政策在訓(xùn)練過程中發(fā)生變化時(shí)，這種機(jī)制就會(huì)出現(xiàn)問題。

IV.交感合作駕駛

高速公路合并情況。 我們的基本場(chǎng)景是一個(gè)高速公路的并線匝道，其中一個(gè)并線車輛（HV或AV）試圖加入一個(gè)HV和AV的混合排，如圖1所示。由于其固有的競(jìng)爭(zhēng)性質(zhì)，我們特別選擇了這種情況，因?yàn)楹喜④囕v的局部效用與巡航車輛的效用是一致的。我們確保只有一個(gè)AV向合并的車輛讓步不會(huì)使合并成為可能，為了使合并發(fā)生，基本上所有的AV都需要一起工作。在圖1(b)中，AV3必須減速并引導(dǎo)后面的車輛，這些車輛也許無法看到并線的車輛，而AV2和AV1則加速，為并線的車輛打開空間。如果任何車輛不合作或自作主張，交通安全和效率就會(huì)受到影響。

形式主義。考慮一個(gè)如圖1所示的路段，其中有一組自主車輛Z，一組人類駕駛的車輛V，以及一個(gè)任務(wù)車輛M∈Z∪V，可以是AV或HV，并試圖并入高速公路。HVs通常有一個(gè)有限的感知范圍，受到遮擋和障礙物的限制。在自動(dòng)駕駛汽車的情況下，盡管我們假設(shè)沒有明確的協(xié)調(diào)，也沒有關(guān)于其他智能體的行動(dòng)的信息，但自主智能體通過V2V通信連接在一起，這允許它們共享自己的態(tài)勢(shì)感知。利用這種擴(kuò)展的態(tài)勢(shì)感知，代理人可以擴(kuò)大他們的感知范圍，克服遮擋和視線能見度的限制。因此，雖然每個(gè)AV對(duì)環(huán)境有獨(dú)特的局部觀察，但他們可以看到其擴(kuò)展感知范圍內(nèi)的所有車輛，即他們可以看到AV的一個(gè)子集,和HV的一個(gè)子集。

為了模擬混合自動(dòng)駕駛場(chǎng)景，我們部署了一組混合的HVs和AVs在高速公路上巡航，目標(biāo)是在保持安全的情況下使其速度最大化。人類和自主代理之間的對(duì)比是，人類只關(guān)心自己的安全，而利他主義的自主代理試圖為群體的安全和效率進(jìn)行優(yōu)化。社會(huì)價(jià)值取向衡量了代理人行為中的利他主義水平。為了系統(tǒng)地研究代理人和人類之間的互動(dòng)，我們將SVO中的共情和合作概念解耦。具體而言，我們將智能體與人類之間的利他行為視為共情，將智能體之間的利他行為稱為合作。這個(gè)定義背后的一個(gè)理由是，這兩者在本質(zhì)上是不同的，因?yàn)楫?dāng)人類不一定愿意幫助代理人時(shí)，同情行為可能是單方面。

然而，合作是一種對(duì)稱的品質(zhì)，因?yàn)樗械腁V都部署了相同的政策，正如我們?cè)趯?shí)驗(yàn)中看到的，無論人類是否愿意合作，都可以實(shí)現(xiàn)群體的社會(huì)目標(biāo)。

分散式的獎(jiǎng)勵(lì)結(jié)構(gòu)。代理人Ii∈Z收到的本地獎(jiǎng)勵(lì)可以分解為：

利他主義或利己主義的水平可以通過λE、λC和λS的系數(shù)來調(diào)整。方程（2）中的riE 分量表示當(dāng)?shù)氐鸟{駛性能獎(jiǎng)勵(lì)，這些獎(jiǎng)勵(lì)來自于行駛距離、平均速度和加速變化的負(fù)成本，以促進(jìn)車輛的平穩(wěn)和高效的運(yùn)動(dòng)。合作獎(jiǎng)勵(lì)項(xiàng) ri,jC占觀察者代理的盟友的效用，即除Ii 之外的感知范圍內(nèi)的其他AV。值得注意的是，Ii 只需要V2V信息來計(jì)算 RC 而不需要任何明確的協(xié)調(diào)或?qū)ζ渌淼男袆?dòng)的了解。

圖2：多通道速度圖的狀態(tài)表示將車輛的速度嵌入像素值中。

交感神經(jīng)獎(jiǎng)勵(lì)條款, ri,Sk 定義為：

其中uk表示HV的效用，例如它的速度， di,k是觀察者自主代理和HV之間的距離，η和ψ是無尺寸系數(shù)。此外，在我們的駕駛場(chǎng)景中，特定的任務(wù)獎(jiǎng)勵(lì)項(xiàng) r kM代表合并機(jī)動(dòng)的成功或失敗，形式為：

在訓(xùn)練過程中，每個(gè)代理利用Deep RL對(duì)這個(gè)分散的獎(jiǎng)勵(lì)函數(shù)進(jìn)行優(yōu)化，并學(xué)會(huì)在高速公路上行駛，并與盟友合作，創(chuàng)造出對(duì)AV和HV都有好處的社會(huì)理想形態(tài)。

狀態(tài)-空間和行動(dòng)-空間。機(jī)器人導(dǎo)航問題可以從多個(gè)抽象層次來看待：從低層次的連續(xù)控制問題到高層次的元行動(dòng)規(guī)劃。我們?cè)谶@項(xiàng)工作中的目的是研究混合自動(dòng)駕駛的智能體之間、智能體與人之間的交互以及行為方面的問題。因此，我們選擇一個(gè)更抽象的層次，將行動(dòng)空間定義為一組離散的元行動(dòng)ai∈Rn。

我們用兩種不同的局部狀態(tài)表示法進(jìn)行實(shí)驗(yàn)，以找到最適合我們問題的表示法。多通道速度圖表示法將AV和HV分成兩個(gè)通道，并將其相對(duì)速度嵌入像素值中。圖2說明了這種多通道表示法的一個(gè)例子。一個(gè)剪切的對(duì)數(shù)函數(shù)被用來將車輛的相對(duì)速度映射成像素值，因?yàn)樗c線性映射相比顯示出更好的性能，即，

其中Zj 是狀態(tài)表示中第j輛車的像素值， v (l)是其在第k輛車視角下的相對(duì)Frenet縱向速度， 即，v0 是速度閾值，α 和 β 是無尺寸系數(shù)，1(.) 是Heaviside階梯函數(shù)。這種非線性映射更重視 |v(l)| 較小的相鄰車輛，幾乎忽略了比自我移動(dòng)得更快或更慢的車輛。

圖3：我們的三維卷積架構(gòu)的深度Q網(wǎng)絡(luò)。

我們又增加了三個(gè)通道，嵌入了1）道路布局，2）強(qiáng)調(diào)自我位置的注意力圖，以及3）任務(wù)車輛。

另一個(gè)候選方案是占用網(wǎng)格表示，它直接將信息嵌入一個(gè)3維的張量oi ∈ Oi的元素中。從理論上講，這種表示與之前的VelocityMap非常相似，它們的對(duì)比是占用網(wǎng)格刪除了形狀和視覺特征，如邊緣和角落，并直接向網(wǎng)絡(luò)提供稀疏數(shù)字。更具體地說，考慮一個(gè)大小為W x H x F的張量，其中第n個(gè)通道是一個(gè)W x H矩陣，被定義為：

其中 f = [p,l, d, v(l), v (d) , sin δ, cos δ] 是特征集, p 是顯示車輛存在的二元變量, l 和 d 是相對(duì)的Frenet坐標(biāo)，v (l) 和 v (d) 是相對(duì)的Frenet速度，δ是相對(duì)于全球基準(zhǔn)測(cè)量的偏航角。

用深度MARL進(jìn)行訓(xùn)練。我們用Toghi等人、Mnih等人和Egorov等人在文獻(xiàn)中提出的3種現(xiàn)有架構(gòu)作為我們的Q-learning問題的函數(shù)近似器進(jìn)行實(shí)驗(yàn)[11]、[21]、[22]。此外，我們還實(shí)現(xiàn)了一個(gè)三維卷積網(wǎng)絡(luò)，捕捉到了訓(xùn)練情節(jié)中的時(shí)間依賴性，如圖3所示。我們網(wǎng)絡(luò)的輸入是10個(gè)VelocityMap觀測(cè)值的堆棧，即一個(gè)10 x (4 x 512 x 64)張量，它捕獲了劇情中的最后10個(gè)時(shí)間步驟。第五節(jié)至第七節(jié)對(duì)這些架構(gòu)的性能進(jìn)行了比較。

我們離線訓(xùn)練單個(gè)神經(jīng)網(wǎng)絡(luò)，并將學(xué)習(xí)到的策略部署到所有代理中，以便實(shí)時(shí)分布式獨(dú)立執(zhí)行。為了解決MARL中的非平穩(wěn)性問題，以半順序的方式訓(xùn)練智能體，如圖4所示。每個(gè)代理被單獨(dú)訓(xùn)練了k次，而其盟友w-的政策被凍結(jié)。然后，新的政策，w+，被傳播給所有代理，以更新他們的神經(jīng)網(wǎng)絡(luò)。此外，受[23]的啟發(fā)，我們采用了一種新的經(jīng)驗(yàn)重放機(jī)制來補(bǔ)償我們高度傾斜的訓(xùn)練數(shù)據(jù)。

圖4:多智能體訓(xùn)練和政策傳播過程。

一個(gè)訓(xùn)練情節(jié)在語義上可以分為兩個(gè)部分，在筆直的高速公路上巡航和高速路并線。后者與前者在體驗(yàn)重放緩沖中的比例很小，因?yàn)楹笳咧话l(fā)生在每集的短時(shí)間內(nèi)。因此，從經(jīng)驗(yàn)回放緩沖區(qū)中統(tǒng)一取樣會(huì)導(dǎo)致與高速公路合并有關(guān)的訓(xùn)練樣本太少。相反，我們將一個(gè)樣本從緩沖區(qū)抽出的概率設(shè)定為與它最后得到的獎(jiǎng)勵(lì)和它與道路上合并點(diǎn)的空間距離成正比。平衡傾斜的訓(xùn)練數(shù)據(jù)集是計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)中的常見做法，在我們的MARL問題上似乎也是有益的。

V.實(shí)驗(yàn)與測(cè)試

A.駕駛模擬器的設(shè)置

我們定制了一個(gè)OpenAI Gym環(huán)境[24]來模擬高速路的駕駛和并線場(chǎng)景。在我們的模擬器框架中，運(yùn)動(dòng)學(xué)自行車模型描述車輛的運(yùn)動(dòng)，并使用閉環(huán)比例積分微分(PID)控制器將元?jiǎng)幼鬓D(zhuǎn)換為低水平的轉(zhuǎn)向和加速度控制信號(hào)。特別是，我們選擇一組n=5的抽象動(dòng)作作為 ai ∈ Ai = [左車道，空閑，右車道，加速，減速]T 。作為自動(dòng)駕駛領(lǐng)域的一種常見做法，我們用Frenet-Serret坐標(biāo)框架來表達(dá)路段和車輛的運(yùn)動(dòng)，這有助于我們將道路曲率從方程中剔除，并將控制問題分解為橫向和縱向部分。在我們的模擬環(huán)境中，HV的行為受Treiber等人和Kesting等人提出的橫向和縱向驅(qū)動(dòng)模型支配[25], [26]。

為了確保我們所學(xué)政策的泛化能力，我們從一個(gè)剪切過的高斯分布中抽取所有車輛的初始位置，其平均值和方差經(jīng)過調(diào)整，以確保初始化模擬落入我們所期望的合并場(chǎng)景配置。在測(cè)試階段，我們進(jìn)一步隨機(jī)調(diào)整車輛的速度和初始位置，以探測(cè)代理處理未見過的和更具挑戰(zhàn)性的情況的能力。

B.計(jì)算詳情

使用NVIDIA Tesla V100 GPU和Xeon 6126 CPU @ 2.60GHz，SymCoDrive的PyTorch實(shí)現(xiàn)中的一次訓(xùn)練迭代需要大約440ms。我們多次重復(fù)訓(xùn)練過程，以確保所有運(yùn)行都收斂到類似的新興行為和政策。在我們的硬件上，為15,000個(gè)情節(jié)訓(xùn)練Conv3D網(wǎng)絡(luò)大約花了33小時(shí)。

政策執(zhí)行頻率被設(shè)定為1Hz，在測(cè)試階段對(duì)網(wǎng)絡(luò)進(jìn)行在線查詢大約需要10ms。我們花了大約4650個(gè)GPU小時(shí)來調(diào)整神經(jīng)網(wǎng)絡(luò)和獎(jiǎng)勵(lì)系數(shù)，以達(dá)到我們實(shí)驗(yàn)的目的。

C.自主變量

我們進(jìn)行了一組實(shí)驗(yàn)，研究獎(jiǎng)勵(lì)功能中的共情和合作部分如何影響自動(dòng)駕駛智能體的行為和總體安全/效率指標(biāo)。我們將圖1中的任務(wù)車輛合并車輛的情況與人類駕駛的任務(wù)車輛的雙場(chǎng)景進(jìn)行比較。我們定義了2x4環(huán)境，其中任務(wù)車是AV或HV，其他自動(dòng)駕駛智能體遵循自我主義、只合作、只共情或共情合作的目標(biāo)：

● HV+E.任務(wù)載體是由人驅(qū)動(dòng)的，自動(dòng)駕駛智能體的行為是自我主義的，

● HV+C.任務(wù)車是由人類驅(qū)動(dòng)的，自動(dòng)駕駛智能體的獎(jiǎng)勵(lì)中只有合作部分（RC），

●HV+S.任務(wù)車是由人驅(qū)動(dòng)的，自動(dòng)駕駛智能體只有共情（RS）元素，

●HV+SC.任務(wù)車是由人類驅(qū)動(dòng)的，自動(dòng)駕駛智能體的獎(jiǎng)勵(lì)中既有同情（RS），也有合作（RC ）的成分。

●AV+E/C/S/SC.與上述情況類似，不同的是任務(wù)車輛是自動(dòng)駕駛的。

D.依賴性措施

我們實(shí)驗(yàn)的性能可以從效率和安全方面來衡量。每輛車在模擬過程中的平均行駛距離是衡量效率的交通水平。發(fā)生碰撞的事件的百分比表明政策的安全性。計(jì)算沒有撞車和成功任務(wù)（并入高速公路）的場(chǎng)景數(shù)量，可以讓我們了解到我們的解決方案的整體效率。

E.假設(shè)

我們研究了三個(gè)關(guān)鍵假設(shè)：

●H1.在缺乏合作和共情的情況下，HV將無法安全地并入高速公路。因此，與HV+C和HV+E相比，我們預(yù)計(jì)HV+SC的性能會(huì)更好。

●H2.一輛自動(dòng)駕駛?cè)蝿?wù)車只需要它的盟友利他主義就能成功合并。我們不希望看到AV+SC和AV+C方案之間有明顯的差異；但是，我們假設(shè)它們都會(huì)優(yōu)于AV+E。

●H3.調(diào)整代理人的利他主義水平會(huì)導(dǎo)致不同的新興行為，這些行為對(duì)效率和安全的影響是不同的。提高利他主義的水平可能會(huì)弄巧成拙，因?yàn)樗鼤?huì)危及智能體學(xué)習(xí)基本駕駛技能的能力。

圖5:利己型、純合作型和富有共情心的合作型自動(dòng)代理之間的比較，以及它們?nèi)绾闻c自動(dòng)(上)或人類駕駛(下)的任務(wù)車輛進(jìn)行交互。左側(cè)顯示了一組采樣任務(wù)車輛的軌跡，與V-C節(jié)中定義的6個(gè)實(shí)驗(yàn)設(shè)置有關(guān)。

F.結(jié)果

我們?cè)陔S機(jī)初始化的場(chǎng)景中訓(xùn)練SymCoDrive代理15,000集，使用小標(biāo)準(zhǔn)偏差，并在3000個(gè)測(cè)試集中以4倍大的初始化范圍平均性能指標(biāo)，以確保我們的代理不會(huì)在所見的訓(xùn)練集中過度擬合。

1) 合作與共情：為了檢驗(yàn)我們的假設(shè)H1，我們將重點(diǎn)放在人類駕駛?cè)蝿?wù)車輛的場(chǎng)景，即HV+E, HV+C和HV+SC。圖5中的最后一行說明了我們對(duì)這些場(chǎng)景的觀察結(jié)果。很明顯，在獎(jiǎng)勵(lì)功能中整合合作和共情元素(SC)的智能體比單純合作(C)或利己(E)的智能體表現(xiàn)出更好的性能。這種洞察力也反映在最右下方測(cè)量車輛平均行駛距離的柱狀圖中。由于公平和高效的交通流，HV+SC情景下的車輛顯然能成功行駛更遠(yuǎn)的距離，而在HV+C和HV+E情景下，失敗的并線嘗試和可能發(fā)生的碰撞使性能惡化。圖5中最左邊的一欄是一組采樣的任務(wù)車輛軌跡的可視化。很明顯，在大多數(shù)事件中，合作的交感智能體成功地合并到高速公路上，而其他(C)和(E)智能體的大多數(shù)嘗試都失敗了。圖6通過比較從HV+E場(chǎng)景中提取的一組任務(wù)車輛軌跡和從HV+SC場(chǎng)景中提取的軌跡，為我們的討論提供了進(jìn)一步的直觀認(rèn)識(shí)。顯然，合作的交感主體使合并成功，而其他利己主義和單純合作的主體則無法做到這一點(diǎn)，這支持了我們的假設(shè)H1。

當(dāng)務(wù)之急是對(duì)有自動(dòng)駕駛?cè)蝿?wù)車輛的場(chǎng)景重復(fù)上述實(shí)驗(yàn)，因?yàn)槿藗兛梢哉J(rèn)為HV+C和HV+E中失敗的任務(wù)和碰撞是由于我們?yōu)镠V選擇的駕駛員模型的不足。為了準(zhǔn)確地解決這一論點(diǎn)，圖5的最上面一行顯示了AV+E、AV+C和AV+SC的方案。首先，通過對(duì)兩種以自我為主體的場(chǎng)景，即AV+E和HV+E的比較，發(fā)現(xiàn)自動(dòng)駕駛?cè)蝿?wù)車輛的行為更具創(chuàng)造性，并探索了與公路合并的不同方式，因此AV+E的軌跡樣本比HV+E更廣泛。

接下來，比較利己主義的自動(dòng)駕駛?cè)蝿?wù)車和人類驅(qū)動(dòng)的任務(wù)車在碰撞和合并失敗方面的表現(xiàn)，顯示自動(dòng)駕駛代理通常更有能力找到一種方法來合并到人類和利己主義代理的隊(duì)列中。然而，它仍然在超過一半的合并嘗試中失敗。圖5驗(yàn)證了我們的假設(shè)H2，因?yàn)槲覀兛梢杂^察到，在代理中只增加一個(gè)合作部分，即AV+C方案，使任務(wù)車輛幾乎在所有的嘗試中都能并入高速公路。在AV+SC中加入共情元素，可以略微提高安全性，因?yàn)樗?lì)智能體注意那些沒有與他們發(fā)生直接碰撞風(fēng)險(xiǎn)的人類。我們認(rèn)為合作是共情的促成因素，并沒有在只有同情的環(huán)境中進(jìn)行任何實(shí)驗(yàn)，因?yàn)槠浣Y(jié)果可以從(SC)和(C)的比較中推斷出來。2) 調(diào)整利他主義和新興行為：為了研究假設(shè)H3，我們訓(xùn)練了一組智能體，并改變它們的獎(jiǎng)勵(lì)系數(shù)，即 λE , λC , λS , 以調(diào)整它們的共情和合作水平。回顧在圖1中描述的駕駛場(chǎng)景，我們特別見證了代理人中兩個(gè)關(guān)鍵的新興行為。強(qiáng)烈同情心的代理人在接受訓(xùn)練時(shí)，λS /(λC +λE )的比例很高，自然會(huì)把人類的利益放在首位，而不是自己的利益。圖7顯示了從兩個(gè)場(chǎng)景中提取的一組快照，其中包括強(qiáng)共情代理和弱共情代理。

圖6：一組合并車輛的樣本軌跡顯示，與HV+E中的失敗嘗試相比，HV+SC中的合并嘗試大多成功。

圖7：比較弱交感和強(qiáng)交感的自主代理。(左) "引導(dǎo)型AV"(考慮圖1(b)中的AV3)的速度曲線和(右)樣本快照。

一個(gè)強(qiáng)交感智能體（考慮圖1(b)中的AV3）會(huì)放慢速度并阻止后面的車輛群，以確保任務(wù)車輛獲得安全的合并路徑。另一方面，弱交感智能體最初會(huì)剎車以減緩后面的車輛，然后優(yōu)先考慮自己的利益，加速并超過任務(wù)車輛。盡管這兩種行為都能使任務(wù)車輛成功合并，但圖7中智能體的速度分布描述了強(qiáng)烈共情的智能體如何在其行駛距離(速度曲線下的面積)上妥協(xié)，以最大化任務(wù)車輛的安全性。

在這一觀察的激勵(lì)下，我們徹底研究了調(diào)整方程（2）中的獎(jiǎng)勵(lì)系數(shù)對(duì)SymCoDrive代理的性能所產(chǎn)生的影響。如圖8所示，我們從經(jīng)驗(yàn)上觀察到，在關(guān)心他人和自私自利之間存在一個(gè)最佳點(diǎn)，最終使群體中的所有車輛受益。

G.深度網(wǎng)絡(luò)和泛化

我們對(duì)第四節(jié)中介紹的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了訓(xùn)練，并檢驗(yàn)了它們對(duì)初始化隨機(jī)性范圍更廣的測(cè)試事件的概括能力，圖9顯示了網(wǎng)絡(luò)的訓(xùn)練性能。

圖8:調(diào)整自主智能體的SVO表明，在關(guān)心他人和自私之間存在一個(gè)最佳點(diǎn)，最終有利于群體中的所有智能體。

圖9：三種基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練性能。

當(dāng)在初始化隨機(jī)性范圍與訓(xùn)練相同的情節(jié)中進(jìn)行測(cè)試時(shí)，所有網(wǎng)絡(luò)都表現(xiàn)出可接受的性能。然而，當(dāng)隨機(jī)范圍增加，代理人面臨與他們?cè)谟?xùn)練期間看到的不同的情節(jié)時(shí)，他們的表現(xiàn)迅速下降，如表I所述。雖然其他網(wǎng)絡(luò)在訓(xùn)練過程中表現(xiàn)出色，但我們的Conv3D架構(gòu)在更多樣化的測(cè)試場(chǎng)景中明顯優(yōu)于他們。我們得出的結(jié)論是，使用VelocityMaps和我們的Conv3D架構(gòu)，智能體學(xué)會(huì)了處理更復(fù)雜的看不見的駕駛場(chǎng)景。表二列出了我們用來訓(xùn)練Conv3D架構(gòu)的超參數(shù)。

公式(6)中定義的占用網(wǎng)格狀態(tài)空間表示，在我們的特定駕駛問題中，與VelocityMap表示相比，在所有神經(jīng)網(wǎng)絡(luò)架構(gòu)中表現(xiàn)出較差的性能。我們推測(cè)，這是因?yàn)檎加镁W(wǎng)格表示沒有受益于VelocityMap狀態(tài)表示中嵌入的道路布局和視覺線索。

我們前面討論的所有實(shí)驗(yàn)都是用VelocityMap表示的，除非另有說明。在調(diào)優(yōu)VelocityMaps之后，我們得出結(jié)論，在狀態(tài)表示中集成一個(gè)硬的自我注意映射并沒有顯著的增強(qiáng)，并決定放棄這個(gè)通道，將通道的數(shù)量減少到4個(gè)。取而代之的是，我們將速度地圖的中心與自我對(duì)齊，使30%的觀察框反映自我后面的范圍，其余的顯示前面的范圍。我們注意到這個(gè)參數(shù)在訓(xùn)練收斂和產(chǎn)生的行為中起著重要的作用，因?yàn)樗怪悄荏w能夠在任務(wù)車輛和其他車輛接近之前看到它們。

VI.結(jié)束語

我們解決了在混合自動(dòng)駕駛環(huán)境中的自動(dòng)駕駛問題，在這種環(huán)境中，自動(dòng)駕駛車輛與人類駕駛的車輛進(jìn)行互動(dòng)。我們?cè)贛ARL框架中加入了合作共鳴的獎(jiǎng)勵(lì)結(jié)構(gòu)，并訓(xùn)練出相互合作的智能體，共情人類駕駛的車輛，因此與自我訓(xùn)練的智能體相比，在競(jìng)爭(zhēng)性的駕駛場(chǎng)景中，如高速公路并線，表現(xiàn)出更高的性能。

表一:相關(guān)架構(gòu)的性能比較。隨著隨機(jī)程度的增加，我們的Conv3D架構(gòu)表現(xiàn)優(yōu)于其他架構(gòu)，智能體面臨著與他們?cè)谟?xùn)練期間看到的不同的情節(jié)。

表二：我們的Conv3DQ網(wǎng)的超參數(shù)列表

局限性和未來的工作。我們目前的獎(jiǎng)勵(lì)結(jié)構(gòu)包括一個(gè)手工制作的標(biāo)記，這取決于駕駛場(chǎng)景，例如，合并或退出高速公路。考慮到不同的駕駛事件，這個(gè)標(biāo)記也可以從交互數(shù)據(jù)中學(xué)習(xí)，從而減少對(duì)特定任務(wù)獎(jiǎng)勵(lì)項(xiàng)的需求。我們認(rèn)為合并場(chǎng)景代表了我們觀察到的許多常見交互場(chǎng)景，包括其他需要兩個(gè)智能體調(diào)節(jié)速度和相互協(xié)調(diào)的行為，例如退出高速公路。我們只在相同的場(chǎng)景中對(duì)訓(xùn)練和測(cè)試代理進(jìn)行了實(shí)驗(yàn)，并沒有在不同的場(chǎng)景中對(duì)它們進(jìn)行交叉驗(yàn)證。我們希望在未來將這項(xiàng)工作擴(kuò)展到其他場(chǎng)景。我們相信，給定足夠大的訓(xùn)練數(shù)據(jù)，智能體有望在一般駕駛場(chǎng)景中學(xué)習(xí)相同的利他行為。

審核編輯 ：李倩