網(wǎng)聯(lián)智能車是無人駕駛的重要技術(shù)路線，而包含多車和多路端的通信（包括不同頻段，即sub-6 GHz、毫米波等，和不同天線陣列，即SISO、MIMO、大規(guī)模MIMO等，的射頻信道信息）與多模態(tài)感知（包括射頻感知，即毫米波雷達等，和非射頻感知，即RGB圖、深度圖、激光雷達等），覆蓋典型網(wǎng)聯(lián)交通場景以及具有豐富場景條件的數(shù)據(jù)集是網(wǎng)聯(lián)智能車研究的基石。

然而，現(xiàn)階段面向網(wǎng)聯(lián)智能車的數(shù)據(jù)集存在缺少多車和多路端的通信與多模態(tài)感知信息，具有交通場景簡單和單一以及場景條件匱乏等不足，從而制約了網(wǎng)聯(lián)智能車的快速及深度發(fā)展。

7月2日，2023中國智能車大會暨國家智能車發(fā)展論壇在廣州南沙盛大開幕。會上重磅發(fā)布全球首個面向網(wǎng)聯(lián)智能車的包含多車和多路端的通信與多模態(tài)感知數(shù)據(jù)集Mixed Multi-Modal Sensing and Communication （M3SC）。該數(shù)據(jù)集由中國工程院院士、中國自動化學會理事長、西安交通大學教授鄭南寧指導，北京大學程翔教授牽頭，聯(lián)合西安交通大學、北京大學、香港科技大學（廣州）和中信科移動通信技術(shù)股份有限公司共同發(fā)布。

據(jù)悉，M3SC數(shù)據(jù)集包含多模態(tài)感知實測數(shù)據(jù)集和通信與多模態(tài)感知仿真數(shù)據(jù)集。實測數(shù)據(jù)集包含了豐富的多模態(tài)感知信息并覆蓋了典型的網(wǎng)聯(lián)智能應(yīng)用路段，包括廈門、杭州、北京、西安和常熟多個城市的校園園區(qū)、城市道路、復雜路口。仿真數(shù)據(jù)集包含了通信與多模態(tài)感知信息，涵蓋了城鎮(zhèn)、郊區(qū)、鄉(xiāng)村等多種網(wǎng)聯(lián)智能交通場景，并具有多時段、多天氣、多視角、多車流量密度、多頻段、多種天線陣列等豐富場景條件。

目前，實測數(shù)據(jù)集包含63萬幀RGB圖，41.5萬幀激光雷達點云和41.8萬幀毫米波雷達點云，并有2.5萬幀多類型標注信息。仿真數(shù)據(jù)集包含18萬張RGB圖，36萬張深度圖，18萬組激光雷達點云，10萬組毫米波雷達信號波形和16萬組信道沖激響應(yīng)。發(fā)布的M3SC數(shù)據(jù)集將為面向網(wǎng)聯(lián)智能車的通信與多模態(tài)感知智能融合理論及方案設(shè)計提供重要支撐。