前言：

在7月底的一篇文章中，九章智駕提到，數(shù)據(jù)閉環(huán)能力是自動(dòng)駕駛下半場的“入場券”，這一觀點(diǎn)在行業(yè)內(nèi)引起了廣泛共鳴。

在數(shù)據(jù)閉環(huán)體系中，仿真技術(shù)無疑是非常關(guān)鍵的一環(huán)。仿真的起點(diǎn)是數(shù)據(jù)，而數(shù)據(jù)又分為真實(shí)數(shù)據(jù)跟合成數(shù)據(jù)。隨著真實(shí)數(shù)據(jù)“規(guī)模小、質(zhì)量低、使用難度大”等問題日漸暴露，合成數(shù)據(jù)越來越受重視。

顧名思義，合成數(shù)據(jù)（synthetic data）就是通過計(jì)算機(jī)技術(shù)生成的數(shù)據(jù)，而不是由真實(shí)事件產(chǎn)生的數(shù)據(jù)。但合成數(shù)據(jù)又具備“可用性”，能夠在數(shù)學(xué)上或統(tǒng)計(jì)學(xué)上反映原始數(shù)據(jù)的屬性，因此也可以用來訓(xùn)練、測試并驗(yàn)證模型——OpenAI 的 GPT-4，就采用了大量前一代模型 GPT-3.5 生產(chǎn)的數(shù)據(jù)來進(jìn)行訓(xùn)練。

在2022年底，筆者曾寫過5篇關(guān)于自動(dòng)駕駛仿真的科普文，但這幾篇文章對(duì)合成數(shù)據(jù)的著墨不多。過去的兩個(gè)月里，筆者在學(xué)習(xí)合成數(shù)據(jù)的過程中，又遇到了不少疑問，帶著這些疑問，筆者請教了十多位業(yè)內(nèi)專家，然后形成“合成數(shù)據(jù)科普文”系列。

在本系列文章的撰寫過程中，筆者得到了光輪智能CEO謝晨、圖森首席科學(xué)家王乃巖、辰韜資本趙磊、復(fù)睿微電子張俊川、百度仿真專家徐志健、昆易電子方志剛、“車路慢慢”運(yùn)營者李漫漫、PanoSim王文威等朋友的支持，在此表示感謝。

自動(dòng)駕駛合成數(shù)據(jù)科普一：不做真實(shí)數(shù)據(jù)的“顛覆者”，做“杠桿”

自動(dòng)駕駛的仿真，最早就是以合成數(shù)據(jù)為主。這里講的合成數(shù)據(jù)，主要是指由人工基于規(guī)則搭建的場景，這背后的技術(shù)，就是業(yè)內(nèi)常說的WorldSim。通常，基于WorldSim搭建的場景，還需要用Unreal等游戲引擎來做圖像渲染。直到今天，WorldSim+游戲引擎仍然是自動(dòng)駕駛行業(yè)用得最多的合成技術(shù)之一。

看起來，基于WorldSim+游戲引擎的合成數(shù)據(jù)能在一定程度上彌補(bǔ)真實(shí)數(shù)據(jù)不足的問題，然而，在實(shí)際使用中，這種合成數(shù)據(jù)存在一個(gè)很難克服的短板：真實(shí)度還不夠高。用更專業(yè)的術(shù)語來說是“保真度”不夠高。

這一痛點(diǎn)，決定了基于WorldSim+游戲引擎的合成數(shù)據(jù)基本上只能用來做測試，很難用于做算法訓(xùn)練。

為了避開WorldSim+游戲引擎技術(shù)的這一短板，有一些公司試圖將真實(shí)道路數(shù)據(jù)“轉(zhuǎn)換成數(shù)學(xué)模型”。然而，這一設(shè)想實(shí)施起來困難重重。

但合成數(shù)據(jù)“可用性”的提升，并未因此而停止。

真正能幫合成數(shù)據(jù)提升可用性的，是更高的保真度和更強(qiáng)的泛化能力。GAN、VAE和Diffusion Model等模型在自動(dòng)駕駛仿真中的應(yīng)用，已經(jīng)證明了這一點(diǎn)；而當(dāng)下廣受追捧的NeRF技術(shù)，也需要保證泛化能力才有可能被廣泛應(yīng)用。

當(dāng)下大熱的AI大模型能，也將在自動(dòng)駕駛仿真中占有一席之地。事實(shí)上，AI大模型+NeRF的組合，被一些從業(yè)者視為幫合成數(shù)據(jù)攻克保真度和泛化能力這兩大難題的關(guān)鍵武器。

隨著合成數(shù)據(jù)面臨的主要難題被一一攻克，真實(shí)數(shù)據(jù)“規(guī)模小、質(zhì)量低、使用難度大”的問題也不再那么令人擔(dān)憂。

通常，在談起合成數(shù)據(jù)時(shí)，人們本能地以為它的主要價(jià)值是彌補(bǔ)真實(shí)數(shù)據(jù)“數(shù)量不足”的問題。但這可能是一個(gè)嚴(yán)重的誤解。

在筆者看來，真實(shí)數(shù)據(jù)的最主要問題并不是“太少”，而是“質(zhì)量低，使用難度大”。所以，哪怕真實(shí)數(shù)據(jù)的規(guī)模很大，合成數(shù)據(jù)仍然是必不可少的。不信的話，看看“最不缺”真實(shí)數(shù)據(jù)的特斯拉是怎么做的吧——特斯拉也在使用合成數(shù)據(jù)！

在國內(nèi)，各家已有自動(dòng)駕駛量產(chǎn)車型上路的主機(jī)廠也不缺真實(shí)數(shù)據(jù)，但這些數(shù)據(jù)的利用率究竟“高達(dá)”20%、10%還是1%，其實(shí)是存在很大的疑問的。

不過，真實(shí)數(shù)據(jù)質(zhì)量低、使用難度大給主機(jī)廠帶來的困擾，恰合也就是合成數(shù)據(jù)的用武之地。

有意思的是，不同于L4公司普遍用合成數(shù)據(jù)來“彌補(bǔ)”真實(shí)數(shù)據(jù)的不足，一些以提供合成數(shù)據(jù)服務(wù)為主業(yè)的公司更傾向于將合成數(shù)據(jù)定位為真實(shí)數(shù)據(jù)的“杠桿”。在后者看來，合成數(shù)據(jù)的使命和愿景并不是要去頂替真實(shí)數(shù)據(jù)，而是要做真實(shí)數(shù)據(jù)的“放大器”，幫助主機(jī)廠或自動(dòng)駕駛公司提高真實(shí)數(shù)據(jù)的使用效率。

下面，我們將以1.1萬字的篇幅來盤點(diǎn)一下“合成數(shù)據(jù)究竟能解決真實(shí)數(shù)據(jù)的哪些痛點(diǎn)”。

一、兼顧隱私保護(hù)與數(shù)據(jù)的可用性

在真實(shí)場景中，自動(dòng)駕駛車輛的傳感器采集到的信息經(jīng)常包括車牌、人臉，但出于隱私保護(hù)的需求，這些數(shù)據(jù)通常大都無法直接使用，而是得先做脫敏或加密才行。但脫敏不僅意味著一筆額外的成本，而且，如果脫敏處理不好，數(shù)據(jù)的價(jià)值也會(huì)大打折扣，甚至根本無法使用。

但如果是根據(jù)實(shí)際需求搭建一些不包含隱私信息的數(shù)據(jù)，就可在兼顧隱私保護(hù)的前提下確保數(shù)據(jù)的可用性。

在美國和歐洲，合成數(shù)據(jù)已經(jīng)是一個(gè)很大的產(chǎn)業(yè)了，但在中國，合成數(shù)據(jù)還處于萌芽階段，其中有一個(gè)重要的原因是：

美歐國家在文化和法律層面都會(huì)對(duì)隱私保護(hù)比較講究，因此，企業(yè)不得不通過采用合成數(shù)據(jù)來避免高度依賴真實(shí)數(shù)據(jù)所帶來的風(fēng)險(xiǎn)；而在中國，長期以來，無論在文化層面還是法律層面，隱私都沒有受到足夠的重視，所以，企業(yè)可以“肆無忌憚”地使用真實(shí)數(shù)據(jù)，這也導(dǎo)致了中國缺乏合成數(shù)據(jù)發(fā)展的土壤。

但情況正在發(fā)生變化。一方面，在中國，普通個(gè)體關(guān)于隱私保護(hù)的權(quán)利意識(shí)在覺醒；另一方面，法律層面也不允許企業(yè)肆意濫用各種隱私數(shù)據(jù)了。

單從隱私保護(hù)的角度考慮，國內(nèi)公司也將越來越多地降低對(duì)真實(shí)數(shù)據(jù)的依賴程度。

二、避開高精地圖的資質(zhì)障礙

除了圖商等極少數(shù)有資質(zhì)的公司，大多數(shù)公司都無法通過路采獲取真實(shí)數(shù)據(jù)的方式來繪制高精地圖，為了避開這一問題，很多公司推出了“去高精地圖”方案，但這一方案對(duì)公司的前融合算法能力、規(guī)控算法能力都提出了新的挑戰(zhàn)，實(shí)際上，真正能落地的公司并不多。

但如果能用合成數(shù)據(jù)來制作高精地圖，那問題就簡單得多了。

在中國，我們尚未看到有公司采用合成數(shù)據(jù)來制作高精地圖，但在美國，已經(jīng)有了類似的先例了。

2021年11月，在一場題為 Under the Hood的活動(dòng)上，Cruise仿真技術(shù)戰(zhàn)略主管 Sid Gandhi 披露，在向新的城市拓展時(shí)，他們不必重新繪制城市地圖來跟蹤車道變更或街道封閉等“不可避免發(fā)生的環(huán)境變化”，而是利用一項(xiàng)名為 WorldGen 的技術(shù)，準(zhǔn)確、大規(guī)模地生成整個(gè)城市，“從奇特的布局到最小的細(xì)節(jié)”。

為了確保最佳的世界創(chuàng)建，Cruise 考慮了一天 24 小時(shí)不同時(shí)間段的照明和天氣條件等因素，甚至系統(tǒng)地測量了舊金山一系列路燈的光線。

對(duì)于無法在現(xiàn)實(shí)路況下收集的特定場景，Cruise則使用 Morpheus。Morpheus 是一個(gè)可以根據(jù)地圖上的特定位置生成合成數(shù)據(jù)的系統(tǒng)。

據(jù)曾擔(dān)任過Cruise仿真負(fù)責(zé)人的光輪智能CEO謝晨說：

Crusie的 WorldGen和Morpheus并不是用合成數(shù)據(jù)來做高精地圖，而是對(duì)真實(shí)世界做3D重建。但無論如何，將車道變更或街道封閉及“從奇特的布局到最小的細(xì)節(jié)”都納入3D重建中，重建后的信息元素已經(jīng)很接近高精地圖了。

在美國，自動(dòng)駕駛公司采集真實(shí)道路數(shù)據(jù)并不會(huì)受到如在中國這般嚴(yán)格的限制，但Crusie仍然采用了合成數(shù)據(jù)，這給那些被高精地圖政策束縛了手腳的中國公司提供了一種新思路。

此外，今后受數(shù)據(jù)合規(guī)相關(guān)法規(guī)政策影響的，就不限于高精地圖數(shù)據(jù)了，還有用于感知算法訓(xùn)練的數(shù)據(jù)回傳。

（這一點(diǎn)，九章在6月30日發(fā)的《“去高精地圖”跟“輕高精地圖”有啥區(qū)別？落地的挑戰(zhàn)又是啥？》一文的第七章“感知算法訓(xùn)練或?qū)⑹艿綌?shù)據(jù)合格政策的影響”部分已做過詳細(xì)的分析，并在此后也從其他平臺(tái)發(fā)布的類似內(nèi)容中得到進(jìn)一步印證，在此不再贅述。）

可以想見，接下來，用真實(shí)道路數(shù)據(jù)做算法訓(xùn)練的難度是越來越大了——不是沒法做，關(guān)鍵是對(duì)車端脫敏的要求太高了，甚至可能還需要跟有測繪資質(zhì)的圖商合作。

受這一政策沖擊較少的公司，應(yīng)該就是那些率先開始擁抱合成數(shù)據(jù)的公司。

三、高效生成在真實(shí)場景中很難獲取的Corner Case

大家都清楚，自動(dòng)駕駛系統(tǒng)很難徹底取代人，最關(guān)鍵的原因是對(duì)各種corner case的應(yīng)對(duì)能力不足，而應(yīng)對(duì)能力的不足又源于數(shù)據(jù)量不夠。這正是合成數(shù)據(jù)大有可為的地方。

大量的corner case，在真正發(fā)生前，沒有人能想得到——預(yù)期功能安全第三象限里面的“unknown,unsafe”一類，所以無法在真實(shí)道路上做模擬。這類corner case，沒法通過基于人工規(guī)則的合成數(shù)據(jù)（WorldSim）來生成，也沒法通過對(duì)真實(shí)世界做3D重建的技術(shù)（NeRF）來生成，但有望通過基于AIGC的合成數(shù)據(jù)來獲取。

有的corner case，盡管人能想象得到“大概會(huì)怎樣”，但畢竟太危險(xiǎn)（known,unsafe），所以，也不適合在真實(shí)道路上做模擬。這種corner case，沒法通過NeRF技術(shù)來生成，但可以通過WorldSim來生成。當(dāng)然，也有望通過AIGC來生成。

有的corner case，算不上有多么unsafe，但在真實(shí)世界中確實(shí)很罕見。如雨、霧、雪和極端光線等極端天氣跟某種極端交通流的組合。這些，也需要通過合成數(shù)據(jù)技術(shù)（同上，不包括NeRF）來生成。

（為何這一章會(huì)在多處提到了有許多corner case無法通過當(dāng)下大熱的NeRF技術(shù)來生成？這個(gè)問題的答案，我們將在本系列的第二篇文章中做詳細(xì)的闡釋。）

有許多corner case，真實(shí)數(shù)據(jù)中其實(shí)有的，但無奈真數(shù)據(jù)中corner case的密度太低，挖掘成本太高，這個(gè)時(shí)候，工程師們?nèi)绻麤]有足夠的耐心或“實(shí)在等不及”，則直接選擇合成數(shù)據(jù)便是最佳策略。

有了合成數(shù)據(jù)，主機(jī)廠或自動(dòng)駕駛公司便可在幾小時(shí)內(nèi)模擬數(shù)百萬個(gè)行人（現(xiàn)實(shí)中，這通常需要幾個(gè)月才能完成）。這些模擬可能涵蓋不同照明條件、目標(biāo)位置和惡劣環(huán)境下（暴雨、極寒、濃霧等）的示例。或者，可以插入隨機(jī)噪聲來模擬臟污的攝像頭、霧水和其他視覺障礙物。

此外，真實(shí)數(shù)據(jù)由于高度受制于采集場景的限制，所以，corner case在樣本的分布上也很難有效滿足算法的需求。而合成數(shù)據(jù)，可以有針對(duì)性地生成分布狀況更滿足訓(xùn)練需求的corner case，這更有助于提升算法的性能。

四、“非必要，不采集”，降低數(shù)據(jù)采集、回傳及存儲(chǔ)環(huán)節(jié)的成本

許多主機(jī)廠都聲稱已經(jīng)量產(chǎn)上路的自動(dòng)駕駛車型每天都在回傳數(shù)據(jù)，但這個(gè)所謂的“數(shù)據(jù)回傳”究竟實(shí)現(xiàn)到什么程度、所謂的“影子模式”是否真的落地了，一直是個(gè)玄學(xué)。

之前只有為數(shù)不多的測試車的時(shí)候，數(shù)據(jù)的問題相對(duì)好辦，畢竟，“回傳”可以通過硬盤來解決，篩選可以在云端做，然而，在量產(chǎn)車上，通過硬盤來解決數(shù)據(jù)“回傳”的道路走不通了，篩選出有效數(shù)據(jù)這個(gè)工作就要在車端完成。

在3月份的《自動(dòng)駕駛數(shù)據(jù)閉環(huán)系列之一：理想豐滿，現(xiàn)實(shí)骨感》一文中，我們提到，在量產(chǎn)車上采集數(shù)據(jù)會(huì)占用一些系統(tǒng)資源，比如計(jì)算、存儲(chǔ)等。

理論上，可以假設(shè)計(jì)算資源、網(wǎng)絡(luò)帶寬等都不受限制，但在實(shí)際落地過程中，如何保證采集數(shù)據(jù)不影響量產(chǎn)車上自動(dòng)駕駛系統(tǒng)的正常運(yùn)行，例如，如何不影響自動(dòng)駕駛系統(tǒng)的延遲等，這是一個(gè)需要解決的問題。

因此，在設(shè)計(jì)的時(shí)候，就需要考慮到采集數(shù)據(jù)等對(duì)自動(dòng)駕駛系統(tǒng)運(yùn)行的影響。

此外，在數(shù)據(jù)量特別大的時(shí)候，數(shù)據(jù)回傳的成本也會(huì)非常高。

單車每日回傳的數(shù)據(jù)量大概為百兆級(jí)。在研發(fā)階段，車輛總數(shù)可能只有幾十輛或者幾百輛，但是到了量產(chǎn)階段，車輛數(shù)目的量級(jí)可以達(dá)到上萬、幾十萬甚至更多。那么，量產(chǎn)階段，整個(gè)車隊(duì)日產(chǎn)生的數(shù)據(jù)量就是很大的數(shù)字。據(jù)某數(shù)據(jù)管理供應(yīng)商提供的信息，某造車新勢力每個(gè)月僅用來做數(shù)據(jù)回傳的流量費(fèi)就高達(dá)“大幾千萬”。

另一方面，急劇增加的數(shù)據(jù)量還給存儲(chǔ)空間以及數(shù)據(jù)處理的速度都帶來了挑戰(zhàn)。

量產(chǎn)之后，數(shù)據(jù)處理的延遲需要和研發(fā)階段保持在同一個(gè)量級(jí)。但如果底層的基礎(chǔ)設(shè)施跟不上，數(shù)據(jù)處理的延遲就會(huì)隨著數(shù)據(jù)量的增長而相應(yīng)地增加，這樣會(huì)極大地拖慢研發(fā)流程的進(jìn)度。對(duì)于系統(tǒng)迭代來講，這種效率的降低是不可接受的。

一位業(yè)界專家告訴九章智駕：

目前，我們還沒有看到哪家公司具備處理量產(chǎn)車上回傳的大規(guī)模數(shù)據(jù)的能力。即使是某家在數(shù)據(jù)閉環(huán)層面做得比較前沿的造車新勢力，即便是每輛量產(chǎn)車每天只回傳5分鐘的數(shù)據(jù)，他們也難以應(yīng)對(duì)這樣的數(shù)據(jù)量，因?yàn)楫?dāng)前的存儲(chǔ)設(shè)備、文件讀取系統(tǒng)、計(jì)算工具等都還無法應(yīng)對(duì)極大的數(shù)據(jù)量。

要應(yīng)對(duì)越來越大的數(shù)據(jù)量，底層的基礎(chǔ)設(shè)施以及平臺(tái)的設(shè)計(jì)都需要相應(yīng)升級(jí)。

工程團(tuán)隊(duì)需要開發(fā)完善的數(shù)據(jù)訪存SDK。由于視覺數(shù)據(jù)、雷達(dá)數(shù)據(jù)的文件尺寸都非常大，數(shù)據(jù)的訪問、查詢、跳轉(zhuǎn)、解碼過程都需要效率足夠高，否則會(huì)大大拖慢研發(fā)進(jìn)度。

如果能做到盡可能多地使用合成數(shù)據(jù)來模擬一些場景，只有在合成數(shù)據(jù)無法滿足要求的時(shí)候再回傳真實(shí)數(shù)據(jù)，即“非必要，不采集、不回傳”，那跟數(shù)據(jù)采集、回傳和存儲(chǔ)相關(guān)的成本就會(huì)大幅度下降。

五、自帶完美標(biāo)簽，不用再做標(biāo)注

車端數(shù)據(jù)在回傳到云端后，需要先做好標(biāo)注后才能使用。據(jù)稱，在大模型用于數(shù)據(jù)標(biāo)注后，已經(jīng)有高達(dá)80%的數(shù)據(jù)標(biāo)注可以通過自動(dòng)化的方式來完成，但還有至少20%涉及復(fù)雜場景、多目標(biāo)、語義復(fù)雜的數(shù)據(jù)需要由人工來完成“精標(biāo)”。

當(dāng)下大熱的BEV+Transformenr技術(shù)，對(duì)數(shù)據(jù)標(biāo)注的需求進(jìn)一步上升。

以往，需要標(biāo)注的主要是前視攝像頭的數(shù)據(jù)，2D 標(biāo)注框+ 3D 位置就已經(jīng)是標(biāo)注的全部內(nèi)容了；而今，在BEV+Transformer方案下， 所有相關(guān)的攝像頭（可能超過7個(gè)）能看到的所有障礙物、車道線、車輛的運(yùn)動(dòng)狀態(tài)都需要對(duì)應(yīng)的標(biāo)注， 并且還要統(tǒng)一在同一坐標(biāo)系下，還有大量的語義信息也需要標(biāo)注，而標(biāo)注成本，也從之前的每幀10元左右上漲到每幀30-40元，甚至更高。

人工標(biāo)注的工作量遠(yuǎn)超外人想象。據(jù)毫末智行數(shù)據(jù)智能科學(xué)家賀翔在6月底的一場自動(dòng)駕駛公開課上的說法，一張關(guān)于十字路口的照片，要把位置、天氣、擁擠狀況、其道路使用者、廣告牌等各種元素都標(biāo)注出來，并能在此基礎(chǔ)上做場景篩選，可能100個(gè)標(biāo)簽也不夠用。

假如車上有8-12個(gè)攝像頭、1-2個(gè)激光雷達(dá)，10秒鐘的視頻里面可能有上千張圖片，標(biāo)注成本得幾千元。

一般的檢測框，一分鐘的內(nèi)容，標(biāo)注需要一小時(shí)左右；點(diǎn)云分割，一分鐘的內(nèi)容，標(biāo)注需要幾個(gè)小時(shí)；但對(duì)更復(fù)雜的任務(wù)做4D標(biāo)注，可能一分鐘的任務(wù)需要花超過一天時(shí)間才能完成。

后面要做端到端的算法訓(xùn)練，在給這一幀的內(nèi)容打標(biāo)簽時(shí)，還得考慮該標(biāo)簽如何跟其他幀的內(nèi)容做關(guān)聯(lián)。

總的趨勢是，自動(dòng)駕駛行業(yè)對(duì)標(biāo)注的要求越來越高了，這意味著，投入到一分鐘視頻上的標(biāo)注成本越來越高了。

在7月底的一場沙龍上，某自動(dòng)駕駛公司COO稱，在數(shù)據(jù)處理的高峰期，他們曾同時(shí)跟超過100家標(biāo)注公司合作，不僅直接成本很高，而且，供應(yīng)商管理的復(fù)雜度也極高。

做人工標(biāo)注，如何在數(shù)據(jù)量極大的情況下，保證標(biāo)注結(jié)果的準(zhǔn)確率、一致性也是一大挑戰(zhàn)。想象一下，標(biāo)注工人連續(xù)幾天坐在辦公桌前做同樣的工作時(shí)間，幾乎就像在工廠的傳送帶上工作一樣， 在這種情形下，ta一定會(huì)時(shí)不時(shí)地犯一些奇怪的錯(cuò)誤。

如果標(biāo)注的結(jié)果不準(zhǔn)確、不完整，那基于這些數(shù)據(jù)訓(xùn)練出來的模型的性能就會(huì)受到影響。

但合成數(shù)據(jù)自帶圖像和激光雷達(dá)的“真值”標(biāo)簽，包括 2D 和 3D 邊界框、語義和實(shí)例分割、深度、光流、運(yùn)動(dòng)矢量、關(guān)鍵點(diǎn)等。并且，對(duì)被遮擋行人/物體這種很難做人工標(biāo)注的場景，合成數(shù)據(jù)也可以自帶完美標(biāo)簽。

在成本方面，與需要標(biāo)注的真實(shí)數(shù)據(jù)相比，自帶標(biāo)簽的合成數(shù)據(jù)也具有明顯優(yōu)勢。

合成數(shù)據(jù)服務(wù)商AI.Reverie 認(rèn)為，人工標(biāo)注一張圖片可能需要6美元（這還不算數(shù)據(jù)回傳、篩選及存儲(chǔ)的成本），但通過合成數(shù)據(jù)技術(shù)生成同樣一張自帶標(biāo)簽的圖片只需要6美分。

誠然，合成數(shù)據(jù)無法完全取代真實(shí)數(shù)據(jù)，但合成數(shù)據(jù)使用率的上升，對(duì)真實(shí)數(shù)據(jù)的依賴度下降，就可以減少因?yàn)檎鎸?shí)數(shù)據(jù)“不好用”而產(chǎn)生的不必要的成本。

全球數(shù)據(jù)標(biāo)注龍頭公司Scale AI已敏銳地意識(shí)到了這一趨勢。

過去幾年，算法訓(xùn)練對(duì)數(shù)據(jù)標(biāo)注的饑渴需求，造成了一個(gè)很有意思的現(xiàn)象是：自動(dòng)駕駛公司和主機(jī)廠的自動(dòng)駕駛業(yè)務(wù)都沒掙到錢，但做數(shù)據(jù)標(biāo)注的公司卻掙到錢了。全球數(shù)據(jù)標(biāo)注龍頭Scale AI甚至因此而估值超過73億美元。

不過，Scale AI也已經(jīng)意識(shí)到，隨著合成數(shù)據(jù)的應(yīng)用逐漸深入，數(shù)據(jù)標(biāo)注業(yè)務(wù)的營收會(huì)受到不小的沖擊。因此，在2022上半年，該公司推出了一個(gè)名為Scale Synthetic的合成數(shù)據(jù)平臺(tái)，宣布進(jìn)入合成數(shù)據(jù)產(chǎn)業(yè)。他們甚至稱，合成數(shù)據(jù)是自己在2022年的“首要任務(wù)”。

數(shù)據(jù)標(biāo)注龍頭進(jìn)軍合成數(shù)據(jù)，邏輯是“在別人能干掉我之前，我先掌握他們的技能，大不了自己干掉自己”，這算是一場自我革命了。

作為被合成數(shù)據(jù)“革命”的對(duì)象，數(shù)據(jù)標(biāo)注公司積極擁抱合成數(shù)據(jù)，這又從反面進(jìn)一步印證了自帶標(biāo)簽的合成數(shù)據(jù)相比于真實(shí)數(shù)據(jù)的優(yōu)勢。

六、可編程，可交互

看起來，各家公司手上都積累了不少真實(shí)數(shù)據(jù)，但真實(shí)數(shù)據(jù)用來做仿真，有個(gè)很嚴(yán)重的痛點(diǎn)是：復(fù)用性差。

比如，在做路采的時(shí)候，車輛的芯片平臺(tái)、傳感器架構(gòu)及制動(dòng)系統(tǒng)是怎樣的，那我在仿真系統(tǒng)里做測試時(shí)，車輛的這些硬件配置也必須跟路采時(shí)所用的車輛配置一致。

某工具鏈公司的仿真負(fù)責(zé)人說:

在用真實(shí)道路數(shù)據(jù)做仿真的情況下，一旦傳感器的位置或者型號(hào)有變更，這一組數(shù)據(jù)的價(jià)值就降低，甚至?xí)鲝U’。

究其原因，真實(shí)數(shù)據(jù)在使用時(shí)無法調(diào)整任何參數(shù)，而只能做簡單的“回放”——也被稱為“回灌”（LogSim）。

復(fù)睿微電子仿真負(fù)責(zé)人張峻川在一次公開分享中提到，WorldSim（用合成數(shù)據(jù)做仿真）像在玩游戲，而LogSim（用真實(shí)道路數(shù)據(jù)做仿真）則更像是電影，你只能看，沒法參與，沒法生成與原始記錄不同的傳感器數(shù)據(jù)，因此，LogSim天然沒法解決交互性的問題。

可以想見，沒法解決交互問題的LogSim，只能用于測試驗(yàn)證一個(gè)現(xiàn)成的算法“是不是OK”，卻不能用于從頭來訓(xùn)練一個(gè)算法。

確有一些公司曾嘗試把采集到的場景里面的元素都完成參數(shù)化，但目前還沒有成熟的案例落地。

但合成數(shù)據(jù)天然具有可編程性，很多參數(shù)都是可以調(diào)整的，因此，數(shù)據(jù)復(fù)用的難度將大幅度降低。

（合成數(shù)據(jù)的可編程性或泛化能力、可復(fù)用性，因AI的參與度而有所不同，總的來說，AI的參與度越高，合成數(shù)據(jù)的泛化能力越強(qiáng)，這一點(diǎn)，我們將在本系列的第二篇文章中做更詳細(xì)的分析，在此暫不贅述。）

豐田及其投資的合成數(shù)據(jù)公司Parallel Domain都將合成數(shù)據(jù)稱為 Programmable Data即“可編程數(shù)據(jù)”。Parallel Domain在其官網(wǎng)上稱：“我們可以對(duì)我們希望在訓(xùn)練數(shù)據(jù)中獲得的任何輸出進(jìn)行編程......通過組合參數(shù)掃描，為每輛車生成數(shù)據(jù)，乘以每種照明條件、每種天氣條件，每種油漆顏色。”

英偉達(dá)在對(duì)外介紹合成數(shù)據(jù)時(shí)經(jīng)常提到一個(gè)詞“域隨機(jī)化”（Domain Randomization），即通過在合成數(shù)據(jù)的生成過程中引入各種隨機(jī)性和變化，使得生成的數(shù)據(jù)能夠覆蓋更廣泛的場景。

英偉達(dá)說的“域隨機(jī)化”，包括改變某個(gè)特定對(duì)象的顏色、光照、紋理、材質(zhì)、變換等多種屬性，也包括添加和修改傳感器的位置和參數(shù)，以及定義其他道路使用者的運(yùn)動(dòng)狀態(tài)。此外，改變一天的時(shí)間、太遠(yuǎn)的位置、溫度、道路的濕度，也是“域隨機(jī)化”的一部分。

在理想的情況下，用轎車去采集的數(shù)據(jù)，如果把視角調(diào)整成卡車視角，那這一組數(shù)據(jù)就可以用于訓(xùn)練卡車的感知算法。

專注于人類數(shù)據(jù)的Synthesis AI甚至能夠以編程方式自定義人的面部數(shù)據(jù)集。為滿足DMS方向客戶的需求，Synthesis 生成了大約 100,000 個(gè)涵蓋不同性別、年齡、體重指數(shù)、膚色和種族的“合成人”。

通過該平臺(tái)，數(shù)據(jù)科學(xué)家可以定制化身的姿勢以及頭發(fā)、面部表情、注釋方向、發(fā)型、服裝（例如面具和眼鏡）以及環(huán)境方面（例如照明，甚至虛擬相機(jī)的“鏡頭類型”）。

對(duì)合成數(shù)據(jù)做編程的最大意義是，可以讓corner cace都可以泛化出數(shù)千個(gè)“變體”，由此，訓(xùn)練出來的模型會(huì)具有很強(qiáng)的魯棒性和泛化能力，從而更容易適應(yīng)真實(shí)世界中的各種變化和不確定性。

此外，合成數(shù)據(jù)生成過程的參數(shù)化，使機(jī)器學(xué)習(xí)工程師能夠更好地控制每次迭代，并讓數(shù)據(jù)集中已存在內(nèi)容的更有可追溯性。

七、 通過隨機(jī)化及調(diào)整場景分布來解決“過擬合”的問題

在學(xué)習(xí)合成數(shù)據(jù)的過程中，筆者注意到，不少開發(fā)者都反映，基于真實(shí)數(shù)據(jù)訓(xùn)練出的模型，很容易出現(xiàn)“過擬合”（Overfitting）的問題。

所謂過擬合，指模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在新的、未見過的數(shù)據(jù)上表現(xiàn)較差的情況。當(dāng)模型過度擬合時(shí)，它學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的細(xì)節(jié)和噪聲，而無法泛化到新的數(shù)據(jù)上。

那么，真實(shí)數(shù)據(jù)是不是要比合成數(shù)據(jù)更有可能引發(fā)模型的“過擬合”問題？

光輪智能CEO謝晨認(rèn)為：

嚴(yán)格地說，“過擬合”跟訓(xùn)練數(shù)據(jù)是真實(shí)數(shù)據(jù)還是合成數(shù)據(jù)并沒有必然關(guān)系，真正導(dǎo)致“過擬合”的，是訓(xùn)練數(shù)據(jù)集中的場景分布跟真實(shí)世界不一致，導(dǎo)致數(shù)據(jù)集可能無法捕捉到真實(shí)世界的復(fù)雜性和多樣性——而不管這個(gè)“數(shù)據(jù)集”究竟是真實(shí)數(shù)據(jù)集還是合成數(shù)據(jù)集。

謝晨舉例說：

比如，很多自動(dòng)駕駛系統(tǒng)在晚上或者雨天表現(xiàn)不太好，這是因?yàn)樗麄儺?dāng)初做訓(xùn)練數(shù)據(jù)采集的時(shí)候，采的大部分都是白天和晴天的數(shù)據(jù)。

英偉達(dá)仿真產(chǎn)品經(jīng)理Matt Cragun也做過類似的解釋：

如果大部分真實(shí)數(shù)據(jù)都是在白天條件下收集的，那么在該數(shù)據(jù)集上訓(xùn)練的算法在夜間或弱光條件下可能表現(xiàn)不佳。

再比如，仿真公司Applied Intuition發(fā)現(xiàn)，某個(gè)感知模型很難準(zhǔn)確地檢測到騎自行車的人和起摩托車的人，原因在于，在用于訓(xùn)練這個(gè)模型的真實(shí)數(shù)據(jù)集中，騎行者出現(xiàn)的頻率遠(yuǎn)低于車輛和步行者——前者出現(xiàn)的頻率不到后者的1/170。

那么，該如何避免“過擬合”的問題呢？筆者從ChatGPT 3.5上得到的對(duì)策有8條，如下圖所示：

其中，跟訓(xùn)練數(shù)據(jù)相關(guān)的對(duì)策是如下兩條：

1.通過對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充，如隨機(jī)旋轉(zhuǎn)、平移、縮放、翻轉(zhuǎn)、添加噪聲等操作，增加訓(xùn)練樣本的多樣性；

2.對(duì)輸入數(shù)據(jù)進(jìn)行規(guī)范化或標(biāo)準(zhǔn)化，使其具有相似的尺度和分布，可以幫助模型更好地學(xué)習(xí)和泛化。

鑒于真實(shí)數(shù)據(jù)是“死的”，無法編程，因此，要對(duì)真實(shí)數(shù)據(jù)做如上操作，基本上是不太可能的。所以，更容易用來解決“過擬合”問題的訓(xùn)練數(shù)據(jù)，基本只能是合成數(shù)據(jù)了。

英偉達(dá)主要通過合成數(shù)據(jù)的域隨機(jī)化來克服“過擬合”問題。所謂域隨機(jī)化，即在合成數(shù)據(jù)的生成過程中引入各種隨機(jī)性和變化（這也是對(duì)合成數(shù)據(jù)做泛化的一種特殊形式），使得生成的數(shù)據(jù)能夠覆蓋更廣泛的場景。

比如，英偉達(dá)曾在測試中發(fā)現(xiàn)，某個(gè)基于合成數(shù)據(jù)訓(xùn)練出來的模型未能在大多數(shù)真實(shí)圖像上充分檢測到門，因?yàn)樗谀M中過度擬合了門的紋理。為了防止門的紋理過度擬合，英偉達(dá)仿真團(tuán)隊(duì)在 30 種不同的類木紋理中對(duì)門的紋理應(yīng)用了隨機(jī)化。

與此類似的是，為了使模型對(duì)墻壁上的 QR 碼等噪聲具有魯棒性，英偉達(dá)仿真團(tuán)隊(duì)還應(yīng)用了 DR overtexture，將墻壁的紋理隨機(jī)化為不同的紋理，包括 QR 碼和其他合成紋理。

再比如，英偉達(dá)還發(fā)現(xiàn)，某個(gè)基于合成數(shù)據(jù)訓(xùn)練的模型在低溫照明條件下有很多誤報(bào)，其原因在于，仿真環(huán)境中的照明保持穩(wěn)定和恒定，而在現(xiàn)實(shí)中，照明條件多種多樣。為避免同類問題再次發(fā)生，英偉達(dá)仿真團(tuán)隊(duì)在合成數(shù)據(jù)中的天花板燈上添加了光溫 域隨機(jī)化，以隨機(jī)化燈光的移動(dòng)、強(qiáng)度和顏色。

曾擔(dān)任過英偉達(dá)自動(dòng)駕駛仿真主管的謝晨也認(rèn)同英偉達(dá)在解決“過擬合”問題上采取的思路。

謝晨補(bǔ)充說：

光輪智能在生產(chǎn)合成數(shù)據(jù)的過程中，堅(jiān)持的一個(gè)原則是“守正出奇”，即在客戶特別需要的增量數(shù)據(jù)方面，他們按照客戶的要求做定制；在客戶不特別提要求的地方，他們盡量讓各種場景的分布貼近真實(shí)世界。

比如，將高速路和城市道路的分布比例、白天和晚上的分布比例、雨雪天氣和晴天的分布比例設(shè)置得盡量跟真實(shí)世界一致。

基于這種數(shù)據(jù)訓(xùn)練出的模型，就不太容易出現(xiàn)“過擬合”的問題。

我們在上文中提到，針對(duì)基于真實(shí)數(shù)據(jù)訓(xùn)練出的感知模型很難檢測到騎行者的問題，Applied Intution公司將其原因歸結(jié)為“騎自行車和騎摩托車手的人在數(shù)據(jù)集中出現(xiàn)的頻率遠(yuǎn)低于行人和汽車”，然后，他們采取的對(duì)策是，往訓(xùn)練數(shù)據(jù)集中添加一些騎行者出現(xiàn)頻率比較高的合成數(shù)據(jù)。

Applied Intution將原本基于100%的真實(shí)數(shù)據(jù)集訓(xùn)練出來的模型設(shè)定為“基線模型”，然后在實(shí)驗(yàn)中發(fā)現(xiàn)，與基線模型相比，將合成數(shù)據(jù)跟真實(shí)數(shù)據(jù)混合在一起做訓(xùn)練，感知模型對(duì)騎行者的識(shí)別結(jié)果得到了顯著改善。

Applied Intuion進(jìn)一步發(fā)現(xiàn)，先在合成數(shù)據(jù)上對(duì)模型做預(yù)訓(xùn)練，然后再在 100% 的真實(shí)數(shù)據(jù)上對(duì)其進(jìn)行微調(diào)，則模型對(duì)騎行者的識(shí)別能力可顯示出特別明顯的提升——無論合成數(shù)據(jù)在訓(xùn)練數(shù)據(jù)集中的占比是多少，基于該數(shù)據(jù)集訓(xùn)練出的模型在性能上始終優(yōu)于基線模型。

（按類別的 mAP 分?jǐn)?shù)。與 100% 真實(shí)世界數(shù)據(jù)的基線相比，混合訓(xùn)練和微調(diào)實(shí)驗(yàn)提高了騎行者的 mAP 分?jǐn)?shù)。圖片摘自Applied Intution官網(wǎng)。）

在下方的兩組圖片中，左側(cè)的圖片顯示，僅根據(jù)真實(shí)世界數(shù)據(jù)訓(xùn)練的基線模型無法檢測到距自車較近的騎行者，而右側(cè)圖片則顯示，根據(jù)合成數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的可以模型成功檢測到該騎行者。

可以看到，盡管“過擬合”跟訓(xùn)練數(shù)據(jù)是真實(shí)數(shù)據(jù)還是合成數(shù)據(jù)并沒有必然關(guān)系，但由于合成數(shù)據(jù)更容易解決“分布比例”的問題，因此，總體上來說，合成數(shù)據(jù)確實(shí)更有可能解決“過擬合”的問題。

在談到“過擬合”的話題時(shí)，謝晨進(jìn)一步解釋說：

“過擬合”是用一個(gè)低維的東西去打高維時(shí)比較常見的問題，在本質(zhì)上，這其實(shí)是一個(gè)小模型的問題，往后看，隨著參數(shù)量越來越多、模型越來越大，“過擬合”的問題會(huì)越來越輕。

謝晨提到，Waymo之前僅感知就有200多個(gè)模型，但接下來可能會(huì)用1個(gè)大模型統(tǒng)領(lǐng)所有這些模型，等大模型出來了，“過擬合”的問題就會(huì)大幅度減少。

鑒于真實(shí)數(shù)據(jù)不僅量不夠，且使用難度大，對(duì)Waymo來說，要訓(xùn)練大模型，就必須依賴合成數(shù)據(jù)。據(jù)悉，Waymo最近計(jì)劃將合成數(shù)據(jù)的使用率提升1000倍。

八、給真實(shí)數(shù)據(jù)“加杠桿”

前段時(shí)間，在學(xué)習(xí)合成數(shù)據(jù)的過程中，筆者突然想到一個(gè)問題：莫非，Waymo和Cruise這些美國的無人駕駛公司，堅(jiān)持“一條道走到黑”、死磕L4的最大底氣是，他們在賭合成數(shù)據(jù)？一旦合成數(shù)據(jù)對(duì)提升算法效果的價(jià)值能跟真實(shí)數(shù)據(jù)相媲美，他們就不用再擔(dān)心“數(shù)據(jù)不夠用”了？

起初，這只是筆者單方面的猜測，但隨后，筆者也帶著這一猜測跟曾擔(dān)任過Cruise仿真主管的謝晨做過一些交流，謝晨是認(rèn)可筆者這一猜測的。

當(dāng)然了，對(duì)真實(shí)道路數(shù)據(jù)不足的L4公司來說，用合成數(shù)據(jù)去補(bǔ)充、代替或“顛覆”真實(shí)數(shù)據(jù)，或多或少總會(huì)有一些無奈的成分在里面。那么，像光輪智能這樣的第三方合成數(shù)據(jù)服務(wù)商，是如何給合成數(shù)據(jù)定位的呢？

謝晨稱：

他們并不打算用合成數(shù)據(jù)取代真實(shí)數(shù)據(jù)（承認(rèn)合成數(shù)據(jù)也無法代表現(xiàn)實(shí)世界的多樣性），而是用合成數(shù)據(jù)及相關(guān)技術(shù)來提升真實(shí)數(shù)據(jù)的使用效率。

在主機(jī)廠或自動(dòng)駕駛公司把真實(shí)數(shù)據(jù)提供給他們后，他們可以拿這些數(shù)據(jù)去基于NeRF技術(shù)做3D重建或泛化，并且加上Sim2Real（用Diffusion Model來提升數(shù)據(jù)保真度），這就把真實(shí)數(shù)據(jù)轉(zhuǎn)換成了合成數(shù)據(jù)；然后，再在仿真系統(tǒng)里將這些合成數(shù)據(jù)跟真實(shí)數(shù)據(jù)“混搭”，通過這種“混搭”，以真實(shí)數(shù)據(jù)為主的數(shù)據(jù)集也間接地具備了“泛化能力”。

事實(shí)上，重建后產(chǎn)生新的數(shù)據(jù)，并且真實(shí)數(shù)據(jù)“混搭”，也是真實(shí)數(shù)據(jù)實(shí)現(xiàn)“泛化”的最有效方式。

通過這種“混搭”或泛化，真實(shí)數(shù)據(jù)的使用效率將大幅度上升。

真實(shí)數(shù)據(jù)跟合成數(shù)據(jù)“混搭”的比例，英偉達(dá)等多家公司實(shí)踐的結(jié)果是，7：3（即合成數(shù)據(jù)占30%）的效果比較理想。

7：3這個(gè)比例，相當(dāng)于在真實(shí)數(shù)據(jù)的基礎(chǔ)上再增加了超過40%的數(shù)據(jù)量，但由于新增的那40%都是合成數(shù)據(jù)，有很強(qiáng)的泛化能力、可以做N多次排列組合，那么，最終用于算法訓(xùn)練的corner case的數(shù)量就不是增加了40%，而是增加了幾十倍、甚至是幾百倍！

由此可見，合成數(shù)據(jù)非但不是真實(shí)數(shù)據(jù)的“競爭對(duì)手”“顛覆者”，反而還可以給真實(shí)數(shù)據(jù)“加杠桿”“賦能”。

如果能利用好合成數(shù)據(jù)這個(gè)“杠桿”，其他主機(jī)廠或自動(dòng)駕駛公司也有條件擁有“特斯拉量級(jí)”的corner case數(shù)據(jù)。

在聊到這里時(shí)，筆者又臨時(shí)想到了一個(gè)問題：這樣看來，合成數(shù)據(jù)公司跟傳統(tǒng)做LogSim和WorldSim的仿真公司并不是競爭對(duì)手，而可能是合作伙伴？

謝晨說：

沒錯(cuò)。我們其實(shí)已經(jīng)跟一些做工具鏈的公司談合作了，他們手上有一些真實(shí)數(shù)據(jù)，但這些數(shù)據(jù)的3D重建、泛化等工作，會(huì)交給光輪智能來做。

九、有望“搞定”感知的仿真

當(dāng)前，自動(dòng)駕駛行業(yè)做的仿真，基本上僅限于規(guī)控的仿真，因?yàn)椋兄姆抡鎸?shí)在太難做了。但過去的兩個(gè)多月里，筆者在學(xué)習(xí)合成數(shù)據(jù)時(shí)發(fā)現(xiàn)，幾乎所有做自動(dòng)駕駛合成數(shù)據(jù)的公司，都會(huì)拿仿真感知的仿真來舉例。

看起來，隨著合成數(shù)據(jù)的日漸成熟，困擾自動(dòng)駕駛行業(yè)很久的感知難題終于有望取得突破了。由于規(guī)控的仿真已相對(duì)成熟，那一旦感知仿真突破，端到端的仿真就沒多大障礙了。

這個(gè)主題比較復(fù)雜，一兩段話也說不清楚，我們將在本系列的第四篇文章中做更詳細(xì)的分析。敬請期待。

十、使仿真可以真正服務(wù)于研發(fā)

在過去的一兩年里，特斯拉、Waymo、Cruise與英偉達(dá)這些公司的仿真部門，服務(wù)的對(duì)象首先是公司的研發(fā)部門，然后才是測試部門；而國內(nèi)大部分公司的仿真，服務(wù)的對(duì)象僅限于自己或客戶公司的測試部門。

這種區(qū)別背后的原因在于，在特斯拉、Waymo、Cruise、英偉達(dá)這些公司的仿真，既可以用來做算法的測試驗(yàn)證，也可以用來做算法訓(xùn)練；而國內(nèi)大部分公司的仿真，只能用來做測試驗(yàn)證。

又是什么導(dǎo)致了這種不同呢？對(duì)合成數(shù)據(jù)的擁抱程度、所使用的合成數(shù)據(jù)的可用性。

我們在上文已經(jīng)提到過，真實(shí)數(shù)據(jù)無法泛化、缺乏交互能力，所以，基于真實(shí)數(shù)據(jù)的仿真，只能用于對(duì)算法的邏輯做測試驗(yàn)證，而不能用于算法訓(xùn)練。

那么，基于合成數(shù)據(jù)的仿真，能用來做算法訓(xùn)練嗎？這個(gè)也得看合成數(shù)據(jù)的質(zhì)量了——只有同時(shí)滿足“泛化能力足夠強(qiáng)”和“保真度足夠高”這兩個(gè)標(biāo)準(zhǔn)的才可以。

基于WorldSim的合成數(shù)據(jù)，保真度無法保證，泛化能力也一般；基于當(dāng)下大熱的NeRF技術(shù)生成的合成數(shù)據(jù)，保真度是沒什么問題了，但泛化能力也僅局限于“調(diào)整視角/傳感器的安裝位置”......因此，這些盡管也會(huì)被用于算法訓(xùn)練，但效果并不是很理想。

不過，隨著AI大模型日漸成熟，并且，大模型在合成數(shù)據(jù)生成過程中的參與度越來越高，合成數(shù)據(jù)逐漸具備了同時(shí)兼顧保真度和泛化能力的可能性。比如，由Diffusion Model和World Model生成的合成數(shù)據(jù)。這樣的合成數(shù)據(jù)，就可以用來做算法訓(xùn)練了。

如果能進(jìn)一步將AI大模型跟NeRF結(jié)合起來，那合成數(shù)據(jù)在算法訓(xùn)練方面可發(fā)揮的空間就更大了。這一路線或可幫助那些真實(shí)數(shù)據(jù)不多、但合成數(shù)據(jù)技術(shù)足夠強(qiáng)、并且擁抱合成數(shù)據(jù)也足夠積極的公司取得一定的競爭優(yōu)勢，至少是減少他們的劣勢。

合成數(shù)據(jù)，或許正是一直被外界質(zhì)疑為“數(shù)據(jù)不夠”的Waymo、Cruise和Zoox這些美國公司敢于“一條道走到黑”、死磕L4的底氣所在吧。事實(shí)上，這幾家公司一直將合成數(shù)據(jù)作為其技術(shù)棧的核心組成部分之一。

國內(nèi)的主機(jī)廠中，蔚來通過積極擁抱合成數(shù)據(jù)，已開始用仿真來支持研發(fā)。接下來，隨著合成數(shù)據(jù)的價(jià)值贏得越來越多的認(rèn)可，應(yīng)該會(huì)有更多主機(jī)廠擁抱這一趨勢吧。

而對(duì)第三方仿真公司來說，只有在服務(wù)對(duì)象從客戶公司的測試部門拓展至研發(fā)部門，能對(duì)算法訓(xùn)練做出自己的貢獻(xiàn)時(shí)，他們才算是最大程度地實(shí)現(xiàn)了自己的“人生價(jià)值”。

結(jié)語：

我們在前面已多次提到多，數(shù)據(jù)閉環(huán)能力，是自動(dòng)駕駛下半場的“入場券”。重要的話不嫌多，在這里可以再重復(fù)一遍。

合成數(shù)據(jù)是數(shù)據(jù)閉環(huán)體系的重要組成部分，并且，合成數(shù)據(jù)不僅具備很多真實(shí)數(shù)據(jù)不具備的優(yōu)勢，而且還可以給真實(shí)數(shù)據(jù)“加杠桿”，因此，我們也可以認(rèn)為，那些率先擁抱合成數(shù)據(jù)的公司，等于率先拿到了自動(dòng)駕駛的“入場券”。

而那些合成數(shù)據(jù)服務(wù)商，則相當(dāng)于是在生產(chǎn)和銷售自動(dòng)駕駛下半場的“入場券”。

提供這一入場券的公司，在國外，除英偉達(dá)這樣的巨頭外，還有Applied Intution、Parallel Domain、Cognata、Datagen等初創(chuàng)公司。

其中，Applied Inntution成立于2017年，但該公司早在2020年就已經(jīng)盈利;在2021年底，該公司的估值達(dá)到了36億美元;2023年5月，該公司以7000萬美元現(xiàn)金收購了無人駕駛卡車公司Embark。

該公司的業(yè)務(wù)僅聚焦于自動(dòng)駕駛這個(gè)單一賽道，能在成立三年內(nèi)就盈利，并在此后估值飆漲，甚至還能拿出足夠的現(xiàn)金來收購其他公司，也足見美國自動(dòng)駕駛駕駛公司及資本市場對(duì)擁抱合成數(shù)據(jù)的積極程度。

在國內(nèi)，百度、華為云及51World等公司近些年一直在探索合成數(shù)據(jù)，而在近一兩年新成立的公司中，光輪智能是一個(gè)典型代表。

創(chuàng)辦光輪智能之前，謝晨曾先后擔(dān)任Crusie仿真主管、英偉達(dá)自動(dòng)駕駛仿真主管、蔚來自動(dòng)駕駛仿真主管，在各家公司都經(jīng)歷了基于合成數(shù)據(jù)的仿真從0到1的過程。目前，光輪智能核心技術(shù)團(tuán)隊(duì)的幾名骨干成員也有類似的經(jīng)歷。

雖然成立比較晚，但成立晚有一個(gè)優(yōu)勢就是，光輪智能充分吸收了其他公司在自動(dòng)駕駛仿真方面的一些經(jīng)驗(yàn)教訓(xùn)，因而，從一開始就避開了很多坑。謝晨認(rèn)為，仿真要做好，必須“虛實(shí)結(jié)合”，并且，比較要要將仿真跟AI深度結(jié)合。

關(guān)于仿真跟AI的結(jié)合，謝晨說：

目前，大多數(shù)公司的做法是用AI來輔助仿真，而我們的思路在則是用仿真來輔助AI。

那么，究竟什么是“虛實(shí)結(jié)合”，什么是“用AI輔助仿真”，什么又是“用仿真輔助AI”呢？這些內(nèi)容，我們將在本系列的第二篇文章中做更詳細(xì)的展開。敬請期待。