在搭建無人車時，我和小伙伴們的主要工作是建立一個駕駛模型。所謂的駕駛模型是控制無人車行駛的軟件，在功能上類似于一名司機，其輸入為車輛狀態(tài)、周圍環(huán)境信息，輸出為對無人車的控制信號。在所有駕駛模型中，最簡單直接的是端到端駕駛模型。端到端駕駛模型直接根據(jù)車輛狀態(tài)和外部環(huán)境信息得出車輛的控制信號。從輸入端（傳感器的原始數(shù)據(jù)）直接映射到輸出端（控制信號），中間不需要任何人工設(shè)計的特征。通常，端到端駕駛模型使用一個深度神經(jīng)網(wǎng)絡(luò)來完成這種映射，網(wǎng)絡(luò)的所有參數(shù)為聯(lián)合訓(xùn)練而得。這種方法因它的簡潔高效而引人關(guān)注。

端到端駕駛模型的發(fā)展歷程

尋找端到端駕駛模型的最早嘗試，至少可以追溯到1989年的ALVINN模型【2】。ALVINN是一個三層的神經(jīng)網(wǎng)絡(luò)，它的輸入包括前方道路的視頻數(shù)據(jù)、激光測距儀數(shù)據(jù)，以及一個強度反饋。對視頻輸入，ALVINN只使用了其藍(lán)色通道，因為在藍(lán)色通道中，路面和非路面的對比最為強烈。對測距儀數(shù)據(jù)，神經(jīng)元的激活強度正比于拍攝到的每個點到本車的距離。強度反饋描述的是在前一張圖像中，路面和非路面的相對亮度。ALVINN的輸出是一個指示前進(jìn)方向的向量，以及輸入到下一時刻的強度反饋。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖一所示。

圖一：ALVINN的網(wǎng)絡(luò)結(jié)構(gòu)示意圖，圖片引用于【2】

在訓(xùn)練ALVINN時，其輸出的真值被設(shè)為一個分布。該分布的中心位置對應(yīng)于能讓車輛行駛到前方7米處的道路中心的那個方向，分布由中心向兩邊迅速衰減到0。此外，在訓(xùn)練過程中使用了大量合成的道路數(shù)據(jù)，用于提高ALVINN的泛化能力。該模型成功地以0.5米每秒的速度開過一個400米長的道路。來到1995年，卡內(nèi)基梅隆大學(xué)在ALVINN的基礎(chǔ)上通過引入虛擬攝像頭的方法，使ALVINN能夠檢測到道路和路口【3】。另外，紐約大學(xué)的Yann LeCun在2006年給出了一個6層卷積神經(jīng)網(wǎng)絡(luò)搭建的端到端避障機器人【4】。

近年來，比較有影響力的工作是2016年NVIDIA開發(fā)的PilotNet【5】。如圖二所示，該模型使用卷積層和全連層從輸入圖像中抽取特征，并給出方向盤的角度（轉(zhuǎn)彎半徑）。相應(yīng)地，NVIDIA還給出了一套用于實車路測的計算平臺NVIDIA PX 2。在NVIDIA的后續(xù)工作中，他們還對PilotNet內(nèi)部學(xué)到的特征進(jìn)行了可視化，發(fā)現(xiàn)PilotNet能自發(fā)地關(guān)注到障礙物、車道線等對駕駛具有重要參考價值的物體【6】。

圖二：PilotNet的網(wǎng)絡(luò)結(jié)構(gòu)示意圖，圖片引用于【5】

PilotNet之后的模型如雨后春筍般涌現(xiàn)。一個重要的代表是加州大學(xué)伯克利分校提出的FCN-LSTM網(wǎng)絡(luò)【7】。如圖三所示，該網(wǎng)絡(luò)首先通過全卷積網(wǎng)絡(luò)將圖像抽象成一個向量形式的特征，然后通過長短時記憶網(wǎng)絡(luò)將當(dāng)前的特征和之前的特征融合到一起，并輸出當(dāng)前的控制信號。值得指出的是，該網(wǎng)絡(luò)使用了一個圖像分割任務(wù)來輔助網(wǎng)絡(luò)的訓(xùn)練，用更多監(jiān)督信號使網(wǎng)絡(luò)參數(shù)從“無序”變?yōu)椤坝行颉?，這是一個有趣的嘗試。以上這些工作都只關(guān)注無人車的“橫向控制”，也就是方向盤的轉(zhuǎn)角。羅徹斯特大學(xué)提出的Multi-modal multi-task網(wǎng)絡(luò)【8】在前面工作的基礎(chǔ)上，不僅給出方向盤的轉(zhuǎn)角，而且給出了預(yù)期速度，也就是包含了“縱向控制”，因此完整地給出了無人車所需的最基本控制信號，其網(wǎng)絡(luò)結(jié)構(gòu)如圖四所示。

圖三：FCN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)示意圖，圖片引用于【7】

圖四：Multi-modal multi-task網(wǎng)絡(luò)結(jié)構(gòu)示意圖，圖片引用于【8】

北京大學(xué)提出的ST-Conv + ConvLSTM + LSTM網(wǎng)絡(luò)更加精巧【9】。如圖五所示，該網(wǎng)絡(luò)大致分成兩部分，即特征提取子網(wǎng)絡(luò)和方向角預(yù)測子網(wǎng)絡(luò)。特征提取子網(wǎng)絡(luò)利用了時空卷積，多尺度殘差聚合，卷積長短時記憶網(wǎng)絡(luò)等搭建技巧或模塊。方向角預(yù)測子網(wǎng)絡(luò)主要做時序信息的融合以及循環(huán)。該網(wǎng)絡(luò)的作者還發(fā)現(xiàn)，無人車的橫向控制和縱向控制具有較強的相關(guān)性，因此聯(lián)合預(yù)測兩種控制能更有效地幫助網(wǎng)絡(luò)學(xué)習(xí)。

圖五：ST-Conv+ConvLSTM+LSTM網(wǎng)絡(luò)結(jié)構(gòu)示意圖，圖片引用于【9】

端到端駕駛模型的特點

講到這里，大家也許已經(jīng)發(fā)現(xiàn)，端到端模型得益于深度學(xué)習(xí)技術(shù)的快速發(fā)展，朝著越來越精巧的方向不斷發(fā)展。從最初的三層網(wǎng)絡(luò)，逐步武裝上了最新模塊和技巧。在這些最新技術(shù)的加持下，端到端駕駛模型已經(jīng)基本實現(xiàn)了直道、彎道行駛，速度控制等功能。為了讓大家了解目前的端到端模型發(fā)展現(xiàn)狀，我們從算法層面將這種模型與傳統(tǒng)模型做一個簡單對比，見下表一：

表一：傳統(tǒng)駕駛模型和端到端模型對比

傳統(tǒng)的模型一般將駕駛?cè)蝿?wù)分割成多個子模塊，例如感知、定位、地圖、規(guī)劃、控制等等。每個子模塊完成特定的功能，某個模塊的輸出作為其它模塊的輸入，模塊間相互連接，形成有向圖的結(jié)構(gòu)。這種方法需要人工解耦無人車的駕駛?cè)蝿?wù)，設(shè)計各個子模塊，而子模塊的數(shù)量甚至高達(dá)上千個，導(dǎo)致這項工作費時費力，維護(hù)成本高昂。如此多的子模塊又對車載計算平臺提出了極高的要求，需要強大的算力保證各個模塊能快速響應(yīng)環(huán)境的變化。

此外，傳統(tǒng)駕駛模型往往依賴高精地圖，導(dǎo)致其數(shù)據(jù)成本高昂。這類模型通過規(guī)則化的邏輯來做無人車的運動規(guī)劃與控制，又導(dǎo)致其駕駛風(fēng)格的擬人化程度弱，影響乘坐的舒適性。作為對比，端到端模型以其簡單、易用、成本低、擬人化等特點表現(xiàn)出很強的優(yōu)勢。

人們通常認(rèn)為端到端駕駛模型和模塊化的傳統(tǒng)模型之間是彼此對立的，有了模塊化模型就不需要端到端了。但在無人配送領(lǐng)域，我認(rèn)為兩者應(yīng)該是互補的。首先，無人配送車“小、輕、慢、物”的特點【10】極大降低了其安全風(fēng)險。使端到端模型的部署成為可能。然后，端到端模型可以很好地處理常見場景，而且功耗低。模塊化的方法能覆蓋更多場景，但功耗高。因此，一個很有價值的方向應(yīng)該是聯(lián)合部署端到端模型和模塊化模型。在常見場景中使用端到端，在復(fù)雜場景中，切換到模塊化模型。這樣，我們可以在保證整體模型性能的同時，盡最大可能降低配送車的功耗。

那么是不是很快就能見到端到端駕駛模型控制的無人配送車了呢？其實，現(xiàn)在端到端駕駛模型還處在研究階段。我從自己的實際工作經(jīng)驗中總結(jié)出以下幾個難點：

1、端到端駕駛模型因其近乎黑盒的特點導(dǎo)致調(diào)試?yán)щy。

由于端到端模型是作為一個整體工作的，因此當(dāng)該模型在某種情況下失敗時，我們幾乎無法找到模型中應(yīng)該為這次失敗負(fù)責(zé)的“子模塊”，也就沒辦法有針對性地調(diào)優(yōu)。當(dāng)遇到失敗例子時，通常的做法只能是添加更多的數(shù)據(jù)，期待重新訓(xùn)練的模型能夠在下一次通過這個例子。

2、端到端駕駛模型很難引入先驗知識。

目前的端到端模型更多地是在模仿人類駕駛員動作，但并不了解人類動作背后的規(guī)則。想要通過純粹數(shù)據(jù)驅(qū)動的方式讓模型學(xué)習(xí)諸如交通規(guī)則、文明駕駛等規(guī)則比較困難，還需要更多的研究。

3、端到端駕駛模型很難恰當(dāng)?shù)靥幚黹L尾場景。

對于常見場景，我們很容易通過數(shù)據(jù)驅(qū)動的方式教會端到端模型正確的處理方法。但真實路況千差萬別，我們無法采集到所有場景的數(shù)據(jù)。對于模型沒有見過的場景，模型的性能往往令人擔(dān)憂。如何提高模型的泛化能力是一個亟待解決的問題。

4、端到端駕駛模型通常通過模仿人類駕駛員的控制行為來學(xué)習(xí)駕駛技術(shù)。

但這種方式本質(zhì)上學(xué)到的是駕駛員的“平均控制信號”，而“平均控制信號”甚至可能根本就不是一個“正確”的信號。

例如在一個可以左拐和右拐的丁字路口，其平均控制信號——“直行”——就是一個錯誤的控制信號。因此，如何學(xué)習(xí)人類駕駛員的控制策略也有待研究。

在這個問題上，我和小伙伴們一起做了一點微小的工作，在該工作中，我們認(rèn)定駕駛員在不同狀態(tài)下的操作滿足一個概率分布。我們通過學(xué)習(xí)這個概率分布的不同矩來估計這個分布。這樣一來，駕駛員的控制策略就能很好地通過其概率分布的矩表達(dá)出來，避免了簡單求“平均控制信號”的缺點。該工作已被 ROBIO 2018 接收。

端到端駕駛模型中常用方法

為了解決上面提到的各種問題，勇敢的科學(xué)家們提出了許多方法，其中最值得期待的要數(shù)深度學(xué)習(xí)技術(shù)【11】和強化學(xué)習(xí)技術(shù)【12】了。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，相信模型的可解釋性、泛化能力會進(jìn)一步提高。這樣以來，我們或許就可以有針對性地調(diào)優(yōu)網(wǎng)絡(luò)，或者在粗糙的仿真下、在較少數(shù)據(jù)的情況下，成功地泛化到實車場景、長尾場景。強化學(xué)習(xí)這項技術(shù)在近年來取得了令人驚嘆的成就。通過讓無人車在仿真環(huán)境中進(jìn)行強化學(xué)習(xí)，也許可以獲得比人類駕駛員更優(yōu)的控制方法也未可知。此外，遷移學(xué)習(xí)、對抗學(xué)習(xí)、元學(xué)習(xí)等技術(shù)高速發(fā)展，或許也會對端到端駕駛模型產(chǎn)生巨大影響。

我對端到端駕駛模型今后的發(fā)展充滿了期待。“Two roads diverged in a wood, and I took the one less traveled by”【13】。