在當今的時代背景下，隨著技術的發展，汽車公司不斷的推出輔助駕駛和自動駕駛技術。與此同時美國已有29個州頒布了與自動駕駛車輛相關的立法，新興的智能車輛時代已經來臨。而如何管理無人車輛和愈加復雜的道路交通，逐漸成為擺在人們面前的一個重大課題。

加州大學伯克利分校的交通研究人員正在使用機器學習的方法來管理自動、半自動和有人類駕駛車輛共享道路的交通。在這個月于瑞士蘇黎世舉辦的CoRL 2018機器人學習會議上，伯克利分校的研究者們首次提出了解決實際交通問題的標準，并將緩解舊金山 - 奧克蘭灣大橋的交通流量瓶頸問題作為實際應用，并且將該項目命名為Flow。

曾經用于解決智能車輛集成問題的傳統方法為：使用手動派生算法來設計控制模型。現在，通過引入基于機器學習的控制方法，可以提供具有低能耗高性能的新型流量管理解決方案，其在計算準確率與計算速度方面的優勢遠高于手動派生算法。

“Flow”項目通過使用人工智能的方法，實現大規模、多車輛協同工作的情景模擬，它還是一個基于云的開源系統，因此開發者們可以繼續以此為基礎進行二次開發。該系統使用來自附近智能車輛或基礎設施的數據來管理交通運輸中的汽車，從而實現大規模道路交通管理。例如，為了防止道路中由于出現交通流量瓶頸而造成的擁堵問題，自動駕駛汽車可以利用其速度和位置信息來規劃附近車輛合理的車道合并算法，避免人為的車輛減速或者因為合流而造成的擁堵。

Flow利用深度強化學習，從經驗中不斷總結和迭代，提升解決方案的性能。包括機器人控制、游戲策略在內的多種應用程序都在使用深度強化學習來提升模型性能，但這是第一次與流量模擬工具集成。下圖所示為Flow項目的組成圖和訓練與評估過程流程圖。

交通管理方面的專業人士認為：“我們需要一個更精密的交通管理系統，還需要考慮如何使用這些自動駕駛汽車作為交通控制的一部分，即使有4％或5％的車輛可以實現這種功能，其所帶來的便利性也是不可估量的。”

建立可比性的評價框架

要想建立一個公平的具有可比性的框架，首先要解決怎么比對的問題：“除非我們處理同樣的問題，否則很難比較結果。需要明確目標對象是紐約高速公路還是加州高速公路？ 一組20輛車還是50輛？ 你需要進行一對一的比較，以了解哪種解決方案更好。”

研究人員認為，可以將這些解決方案成變為標準案例庫，以便后期的參照和比較。同時Vanderbilt大學土木與環境工程副教授表示，提供代碼至關重要，在交通運輸界，我們可以使用這些基準來比較和競爭，并且可以達到重現結果的標準。

標準化基準測試已經存在于其他深度強化學習應用中，包括自然語言處理和機器人技術。 但對于交通管理至今還未有廣為認可的標準。來自Bayen實驗室的早期論文將Flow作為一個交通仿真平臺，然后使用簡單的場景建立了初步基準，例如汽車駕駛成環狀或八字形。

對于Flow項目：研究者們指定了非常詳細的應用場景 ：工程師可以用來解決常見類型的標準“任務”。 項目中提出了一個典型的交通流量瓶頸模型：舊金山 - 奧克蘭海灣大橋的車道變窄問題 ，項目的目標是最大限度地從橋上流出汽車。具體來看，這一項目已經有了很多的框架和細節: 研究人員可以定義每個車道的交通量，車輛位置和速度 ，以此作為基準案例，任何人都可以提出解決方案，并且有一個比較這些解決方案的標準。該研究的其他基準包括入口匝道合并和曼哈頓交通信號燈模型。

下圖為舊金山 - 奧克蘭灣大橋上的交通流量瓶頸問題示意圖，其描述了車道從四個合并到二個，再到一個的過程。研究人眼證明了人工智能算法能夠學習出一種合理的策略，使得在維持穩定的高流入的過程中，保證有效的流出量。下圖左方曲線顯示了強化學習后的結果是：在高流入時，流出量提高了25％；通過右方曲線可以發現：通過比較人工智能控制方法與與匝道測量的流入流出曲線，在高流入時，它們的表現相當。

研究人員們希望日后能夠解決更加復雜的場景問題，同時，他們也希望社區和外部參與者可以積極參與項目不斷提高模型表現。該研究的最終目標是系統在全市范圍內管理交通，結合豐富的人類駕駛資源，同時充分利用為數不多但總量在不斷增長的智能車輛在路上的優勢。

未來，研究人員還會研究這種技術方法的潛在缺點和意外后果。例如，如果交通平滑效果很好，旅行時間的改善可能會吸引更多的司機上路，但會破壞短期收益以及減少溫室氣體排放和能源消耗的更大目標。混合自治交通是逐步實現自動駕駛汽車整合的必由之路。通過這些先進的技術我們可以提前模擬未來，并及時制定積極的應對策略。