普遍來說，在自動駕駛系統的整個鏈條中，感知子系統的曝光度通常會比其他子系統更高一些。這里的原因很多，比如Tesla主動挑起的純視覺傳感器路線之爭，再比如日進千里的激光雷達上車工程進度，再比如AI在計算機視覺領域取得的一個又一個偉大的技術進展，再比如技術表達能力超強的Andrew Karpathy的個人魅力……相比較之下，自動駕駛系統中的規劃和控制子系統——Planning and Controlling模塊則相對默默無聞。小編想，這里面很多原因，不一而足。

從規劃系統Planning來說，傳統的機器人領域中成熟的路徑搜索方案并不適用于真正的乘用車（高速高安全）自動駕駛領域。不論從安全性還是實時性來看，距離可廣泛推廣的商用系統性能還差距遙遠。尤其在感知系統的整體水平邁向新臺階的當前階段，規劃和控制系統如果還是停留在傳統機器人系統的技術水準，端到端的整體上就略顯失調了。

從另一個角度看，AI到底以何種方式可以解決當前主要的自動駕駛規劃問題，從而達到類似于感知系統那個級別的AI化，還沒有技術定論或者一個普遍被接受的技術方案：比如Waymo的ChauffeurNet采用BehaviorCloning模仿學習，起點上就有其先天的不足，能否克服長尾問題而實現批量部署還有待觀察；再比如強化學習Reinforcement Learning雖然在技術原理上先天適合部署在自動駕駛場景，但具體是個什么模式還有不小的爭議。

配套的仿真系統是否足夠好地模擬現實，高價值的訓練數據如何獲取，這都是阻撓RL在自動駕駛領域落地的主要絆腳石。相對規劃系統來說，倒是單純的控制系統所面臨的問題較少。默默無聞主要是因為車輛動力學發展歷史悠久，人類已經積累了對于車輛實體進行控制的足夠理論和經驗。

故從本期開始，在這個大的主題下我們將不定期地介紹和討論各個主流玩家在規劃和控制系統上的技術現狀和進展，力圖將我們的視線從感知系統擴展到規控系統。這種從頭至尾的端到端地技術觀察，會給我們帶來更豐富的知識體驗和更全面的系統級理解。

當然，在本系列中我們會依然保留車右智能在公眾號文章中的一貫準則：內容上不會大段堆砌論文而太過沉重，但技術實現思路上必須清晰和連貫。希望讀者能跟得上和跟得緊，有問題請在后臺和小編暢所欲言。

想想還是從Tesla開始吧！后續我們根據讀者的反饋和熱度，再決定涉及哪些其它主流的自動駕駛廠家。

Tesla在規控模塊上的線索

2021年Tesla AI Day上Karpathy的演講受到很多追捧，尤其Transformer第一次被介紹用于BEV視覺矢量場信息的復現。自那之后的相關復盤和分析文章簡直汗牛充棟了。但相對來說，Ashok主持的Planning and Controlling部分受到的關注就少多了（小編：有句剛句，Ashok一個是表達能力有限，另一個是印度英語確實太難懂了）。我們寫了這么多關于Tesla的技術分析文章，也基本沒有涉及過Planning & Controlling部分，算是一直以來的一塊空白拼圖了。

歷史上，我們也幾乎沒有看到過Tesla主動站出來介紹自己在Planning and Controlling上的技術進展，只是有一些不嚴肅的只言片語，一帶而過而已。但其實我們每個人都明白，P&C規控部分的重要性不言而喻。所以今天我們就從Tesla主持這一塊研發的Ashok入手，開始今天的話題……

Ashok是誰？

按照Elon Musk的公開說法，Ashok Elluswamy是Tesla開始籌備Autopilot團隊以來所招募的第一位員工，可謂資深（小編：Elon Musk在一次播客的直播采訪中，特意糾正訪問人的問題，強調說Ashok的貢獻并不比Karpathy小）。在AI Day的自我介紹上，Ashok說他是“1 Planning and controlling team、2 Auto-labeling team以及3 Simulation platform（Dojo）的技術負責人。”這應該是基本涵蓋了除Karpathy的identification team和Milan的Hardware team以外，Tesla自動駕駛部門全部的技術力量了。

從技術角度看，因為非常緊密的技術耦合關系，這幾塊技術細分板塊也確實適合歸到一個部門來統一領導。讀者可以這么理解Ashok的工作范圍：通過auto labeling將合格的視覺數據（特征數據）完成有效標注之后，可以用于Planning（含預測）和Controlling模塊的能力訓練和建立。

在能力建立之中和建立完畢之后，利用simulation平臺可以提供測試和驗收。這個過程屬于我們在歷史文章中多次強調過的Tesla的Data Engine循環中的一部分，Tesla正是通過這個完備的Data Engine循環，來同時鑄造Autopilot的感知和規控模塊能力的。

因為Ashok的個人曝光度很低，在2021年度的AI Day之后，Elon Musk特意通過微博回答了一些讀者對印度小哥Ashok技術背景信息的提問。如上圖2的推文中寫道：“Tesla Autopilot技術核心負責人分別是Ashok、Andrej Karpathy和Milan（小編：Ashok的資歷和貢獻其實還排在Karpathy之前），他們歸屬部門之間的協調關系更類似于一種圓桌騎士般的平等和協作結構。”

自動駕駛的核心任務

注：從本章節開始的后續章節，專業術語較多，但串起這些專業術語的技術思路并不算復雜，需要讀者耐心辨識和記憶每一個術語，以便更好理解。

自動駕駛系統的核心任務就是實現車輛自動抵達預定目標，同時需要滿足同時最大化以下三個目標：

圖三【control and planning-4.png】來自Tesla 2021 AI Day演講視頻截圖，取自URL：https://www.youtube.com/watch?v=j0z4FweCy4M&t=4380s；

可能有些老生常談，但未必每個讀者都能真正意識到以上三目標之間的真正關聯。安全性Safety——舒適性Comfort——效能Efficiency，三者之間兩兩相關緊密耦合，但同時達到三者各自的最大值是不現實的，例如：當在無法預測的突發狀態下，車輛會犧牲行車效能Efficiency和駕乘舒適性Comfort，而采取高能耗、且劇烈的規避動作。在確保乘客人身安全的前提下，會同時犧牲乘客舒適體驗和車輛的行駛效率。相仿地，從舒適性和效能出發，我們也可以得到類似極端場景的結論。因此最大化自動駕駛三要素價值的核心，是需要系統在保障行車安全性的前提下，在三者之間尋求妥協和折中之后的整體價值最大化。

商業版本的Autopilot在目前技術狀態下可實現標準的Level-2自動駕駛功能，依賴導航系統的Route Path Planning輸出結果，甚至可以在結構化良好的高速公路場景上，相對于L2更進一步實現相當自動化的道路行駛、自動化變道和出入高速公路的上下匝道口。

已經較好地在封閉道路環境下，統一了Safety——Comfort——Efficiency三者之間的關系。但對于更普及和關鍵的City road社區道路場景下，自動駕駛的規劃和控制模塊能力，還有相當的欠缺。這里尤其突出的核心問題就是，對于Planning規劃模塊來說，其所面臨的道路行駛場景的復雜程度是大大地增加了。

Tesla如何處理規劃Planning中的關鍵問題

對于自動駕駛系統的核心能力——Planning規劃功能模塊，其本質是要在復雜的、高時變性的外部環境下，尋找出“自車ego”——自動駕駛車輛的可行駛軌跡，且具備（小編：應該是絕對的必備！）上一章節中我們提到的安全性（實時性）、舒適性和高效能（合理性）。Tesla認為這種軌跡規劃能力和對應的車輛控制能力，可以等效理解為一種需要實時解決的映射問題：即從反應外部世界真實狀態的狀態空間S，到決定自車軌跡的動作空間A之間的映射能力。這種能力可以保證自車ego系統對于外部瞬息萬變的道路環境及時響應，尋找出最佳的運動軌跡——Trajectory，從而形成對于車輛控制的明確輸入。

注：我們在文中可能會多次使用路徑——Path、軌跡——Trajectory的概念，基本上我們認為它們是等效的，都是區別于長距導航路徑——Navigation Route的實時概念。車輛控制系統將會根據規劃模塊的Path or Trajectory輸出，形成具體的方向、油門和剎車指令，來完成對于車輛的控制。

Ashok在AI Day上談及Trajectory Planning功能的問題時談到，從外部環境的狀態空間S到車輛運動的動作空間A的映射，涉及的問題主要是：第一，動作空間的輸出往往是個非凸問題-Non-Convex，即存在多個可行的解（小編：在我們的問題里對應可行的軌跡選擇可能不止一條），因此在數學上，你很難確定哪個“最小解”才是全局最優的最佳軌跡選擇；第二，動作空間的輸出軌跡，在時間尺度和控制參數尺度上看，都具備比較沉重的多維輸出性質。具體講，需要覆蓋長達10-15秒內，軌跡上的每一個軌跡點的位置、速度、加速度和加加速度（Jerk）參數的求解。毫無疑問這是一個需要實時計算、和高頻率迭代更新的密集計算工作量。

因此，一個合理的、混合型的Planning規劃解決方案，在Ashok看來，是必須的。

圖四【control and planning-5.png】來自Tesla 2021 AI Day演講視頻截圖和后期加工，取自URL：https://www.youtube.com/watch?v=j0z4FweCy4M&t=4380s；

上圖4繪制出從左側感知系統輸出，到最右側車輛控制系統輸入之間的規劃Planning流程。它是一個在結構上分步驟、功能上混合搭配的規劃流程。

Coarse Search階段，負責將感知系統提供的環境矢量空間數據，從一個非凸問題轉換為凸問題（小編：讀者可以將凸問題理解為界定一個有唯一最優解存在的問題邊界）。所采用的具體的離散化搜索方案，可以確保規劃系統在大范圍內快速將問題簡化為凸問題，構造出所謂的Convex Corridor；后續的Continuous Optimization階段中，則采取完全相反的連續路徑優化計算（對應于階段一中的離散方法），利用成熟的梯度Gradient方法，在Convex Corridor內快速計算出最優的行駛軌跡，并最終交付給車輛控制系統。（小編：從現有市場資料看，我們似乎還不能確定規控模塊的輸出是軌跡點，還是直接的油門、剎車和方向控制數據，真正的端到端系統應該是直接的控制數據輸出，而非中間狀態的Trajectory軌跡點數據。）

基本上，在階段一，通過離散方法保障快速覆蓋整體路徑搜索空間；在階段二，通過連續優化方法以低計算成本尋找最優路徑。這是一個很合理的前后呼應，互相彌補的Hybrid混合路徑規劃方案，成功地規避了離散方法和連續方法各自的不足。Ashok隨后舉例一個比較常規的實際規劃場景——自主換道左轉，來證實這個Hybrid Planning方案的可行性和性能優勢。

換道左轉場景下Hybrid Planning的表現

以下圖5中顯示了一個高度結構化的換道+左轉場景。構成這個結構化場景的兩個要素，一個是導航結果輸出，藍色寬線條顯示。它在地理大尺度上表征自動駕駛車輛的未來路徑/Path，哪個路口直行通過，哪個路口需要執行轉彎操作，都在Path級別上有完整定義；另一個是道路結構化信息的確立，車道數、車道左右轉屬性、車道最高限速、車道在路口和紅綠燈的對應關系……等等。

這些信息一部分來自于車載地圖（小編：對于Tesla的Autopilot來說，這并非屬于嚴格意義上的HDmap），另一部分來自于主車的視覺識別系統，這一部分的優先級和確定語義權重往往更高，即當視覺識別系統輸出和車載地圖不符合時，以視覺識別系統輸出為準。

圖五【control and planning-6.png】來自Tesla 2021 AI Day演講視頻截圖和后期加工，取自URL：https://www.youtube.com/watch?v=j0z4FweCy4M&t=4380s；

Tesla的Hybrid Planning規劃方案需要解決圖5中的場景，在滿足安全性——舒適性——效能綜合最大化的前提下，完成換道和左轉操作。嚴格講，這是一個不“顯式/explicit”考慮道路其他參與目標（小編：比如左右側車道的其它車輛）狀態的、過于理想的Path planning能力展示。

參考下圖我們做進一步解釋：

圖六【control and planning-7.png】來自Tesla 2021 AI Day演講視頻截圖和后期加工，取自URL：https://www.youtube.com/watch?v=j0z4FweCy4M&t=4380s；

圖6中的主車ego一旦獲取導航模塊的route輸出，和當前行駛路段的道路結構信息之后，即可以發起Path planning規劃工作。回想圖4當中的Hybrid planning混合規劃方式的第一步——從Vector（和導航Route輸出）中獲取信息，然后在Coarse Search階段中執行離散化的路徑搜索策略，以快速覆蓋所有路徑選擇的可能，并避免陷入局部最優路徑選擇的陷阱。

這種快速離散化路徑搜索的起點和終點定義邏輯非常簡單，可以參見上圖6中右側在距離（自車ego距離路口的實際距離）和速度（自車ego的運行速度）變化趨勢：即自車ego先踩剎車再尋機變道、還是自車ego先加速再選擇變道時機。

在兩種極限操作所塑造的車輛運動軌跡空間以內（小編：上圖6中的兩個扇形區域內），自動駕駛系統需要最終根據安全——效能——舒適度三要素綜合最大化的原則，來最終確定選取哪一條路徑最合時宜。讀到這里讀者還是需要關注的兩個小重點：

1 離散化的路徑生成和搜索方法并不復雜，在當前的計算硬件上可以實現非常高的計算效率。如果以這個換道+左轉場景為例，它可以在1.5ms內生成2500條可行的可選路徑；

2 這僅僅是Hybrid planning規劃算法的第一步，只是在較大的地理尺度上挑選并確定了候選路徑，或者說是一條Convex Corridor（小編：克服了非凸問題的凸走廊），這個路徑在后續并非一成不變，而只是一個基準的參考路徑。為后續的Continuous Optimization連續優化埋下伏筆。

這里一定會有讀者提問，這種Planning規劃的階段輸出，只考慮固定的道路結構和導航輸出Route所產生的恒定的操作空間（比如左轉右轉直行），而沒有考慮道路上其它資源使用者的動態信息，這是否可行？其實這就是Ashok沒有表達出來的含義，這種Planning規劃模塊的工作模式都是迭代的，迭代周期非常短（小編：可能在ms或者百ms級別），它在每一個規劃任務要求的時間間隔上都會重新進行路徑規劃Coarse Search計算，并產生輸出。

理想如高速公路直行行駛時，這種迭代結果趨同，我們從規劃結果上就很難看出這種迭代效果；對比如果在路口、或者復雜干擾物存在的道路環境下，路徑規劃模塊就會在統計上體現出快速的迭代效果，極端情況下就是我們經常能看到的路徑輸出“劇烈擺動”效應

當車輛直行且道路環境單純，動態合作目標的數量很少的時間段內，自車ego的規劃模塊輸出將長時間保持恒定。以Tesla的FSD展示來看，其車載中控屏幕上的藍色線段即為指定時間窗內的路徑規劃輸出，長時間保持恒定。

圖8視頻片段中，當車輛執行右轉操作，發現路口環境被臨時阻擋、且有動態的行人目標參與時，自車ego的路徑規劃模塊在每一個時間間隔內都會隨著車輛運動而不斷刷新規劃結果。結果在Hybrid Planning的第一階段，就不斷更改所謂的最佳路徑搜索結果，每一個時間間隔都會重新計算并得到更新的Convex Corridor。這樣所造成的視覺效果即“劇烈抖動”。

由彼及此，讀者需要認真思考，類似這種Hybrid Planning在復雜的交通場景下，可用性到底有多高呢？如果圖6中的場景中，相鄰車道存在大量高速和密集的其他車輛，同樣會造成Hybrid Planning第一階段Coarse Search的搜索結果巨幅跳動，遲遲給不出可以執行的Convex Corridor結果，也就無法進入第二階段的Continuous Optimization。

實際上在互聯網上大量存在的FSD beta測試視頻中，確實有不少關于Tesla FSD beta因為錯誤的行駛車道選擇，而最終在路口區域錯過左轉或者右轉機會的。所以Tesla顯然還有技術后手，這就是所謂的“聯合預測”。

針對多道路參與者的聯合預測和規劃

預測模塊Prediction module是規劃和控制行為發生的前提，尤其在相對復雜的道路環境下。預測功能出現在每一個自動駕駛系統提供商的技術框圖之中，不可或缺，但表現形式各不相同。比如Cruise所能提供的復雜而全面的預測體系，包括對道路參與目標的各種類別的行為預測都有具體定義和實現；再比如Waymo的預測，使其關鍵的ChauffeurNet模仿學習駕駛網絡（小編：等同于規控模塊）可以工作在一個很高的可靠性水準之上。

只有充分的和準確的預測系統，才可以讓ChauffeurNet將從人類駕駛員這里模仿而來的技能發揮到最好水平；還有就是本文的焦點——Tesla FSD系統的預測模塊能力，是建立在感知模塊對于時間上不連續和視線遮擋條件下的各種道路參與者強大的感知能力基礎之上的（小編：這部分由Karpathy負責）。

“Need to plan for ourselves & everyone else Jointly”，圖9給出Tesla的預測能力體現為一種對于自車ego和它車的聯合運動規劃和預測（小編：不難理解，對于自車ego是規劃plan，對于它車是預測prediction）。對于聯合規劃和預測，Ashok給出的樣本場景如下圖：

圖十【control and planning-11.png】來自Tesla 2021 AI Day演講視頻截圖和后期加工，取自URL：https://www.youtube.com/watch?v=j0z4FweCy4M&t=4380s；

圖10顯示，自車ego的規控輸出，是基于對于道路參與目標的預測行為而聯合計算得出。在來車方向上，如果感知系統給出對向來車明顯表現出高置信度的某種行為預測結論——道路狹窄部搶行企圖，則自車ego需要據此預測結果來給出對應的規劃結果——上圖為自車ego停車讓行。

這種看著非常類似人類司機的行為，可謂相當智能。但實際上這在當下的自動駕駛產業界是一種主流規控實現方式，原理上并沒有什么特立獨行之處。Tesla的優勢在于，由于市場保有車隊數量龐大，所以Tesla確實有機會獲取更大量的外界數據實例。只要“影子模式”的觸發點足夠細膩和準確、數據標注手段足夠豐富和準確，Tesla獲取到比競爭對手更多的實際人類駕駛意圖的機會更大更多也很正常（小編：但是目前我們尚未感受到FSD beta展現出更高的行駛能力，這也是事實）。

路徑規劃中的博弈現象

前述Tesla強調的Jointly Planning聯合規劃，如果再往高級的形式演化，就是人類獨有的“博弈行為”在道路駕駛策略上的一種智能體現。以上圖11的視頻中，就是對應圖10當中3D形式表現的聯合規劃場景實景。我們可以從視頻中感受到，FSD beta的自車ego通過“博弈”勝了第一輛對向車輛，迫使對方率先選擇讓路/Yield行為；但自車ego也主動選擇避讓了第二輛車輛（小編：主動避讓也可以看作博弈的勝利，避讓行為并不是關鍵，主動選擇才是關鍵行為）……當ego的感知系統收到第二輛車的人類司機明確的讓行意圖之后，再次起步。

去年夏天，華為極狐曾在上海車展前期有幾段上海金橋地區的自動駕駛demo視頻流出。小編記得極狐可以做到在通過十字路口無保護左轉時，做出類似人類的壓線動作——左轉車輛會選擇緩慢切入并擠占對向直行車輛的正常行駛直線，從而盡快獲取快速通過的機會。這也是人類經常采用的一種博弈行為，可以說是交通繁忙地段的約定俗成。當然，我們并不知道華為的自動駕駛系統路徑規劃方案在這種“博弈”現象的背后的實現機制和訓練機制（小編：如果是模仿學習的結果，類似waymo的chauffeurNet，則不足為奇）。

暫時的段落

好！截至目前，我們已經研究了Hybrid Planning方法在第一階段——Coarse Search和聯合規劃和預測方面的技術細節，FSD在這個階段可以給出Convex Corridor路徑選擇（范圍）了，這是個基礎中的基礎。并且FSD可以在標準道路和相對復雜的路況下利用預測能力自如規劃了…….但是，人類世界的路況永遠是復雜的、多樣的，我們不可能假設所有人都遵循規則，且交通永遠井井有條如“預測”般發展。所以在后面章節我們會介紹Tesla是如何針對復雜交通環境，進一步給出解決方法的。

審核編輯：劉清