前言：

3D場景理解是自動駕駛、機器人導(dǎo)航等領(lǐng)域的基礎(chǔ)。當(dāng)前基于深度學(xué)習(xí)的方法在3D點云數(shù)據(jù)上表現(xiàn)出了十分出色的性能。然而，一些缺點阻礙了它們在現(xiàn)實世界中的應(yīng)用。第一個原因是他們嚴(yán)重依賴大量的帶注釋點云，尤其是當(dāng)高質(zhì)量的3D注釋獲取成本高昂時。此外，他們通常不能識別訓(xùn)練數(shù)據(jù)中從未見過的新物體。因此，可能需要額外的注釋工作來訓(xùn)練模型識別這些新的對象，這既繁瑣又費時。

OpenAI的CLIP為緩解2D視覺中的上述問題提供了一個新的視角。該方法利用網(wǎng)站上大規(guī)模免費提供的圖文對進(jìn)行訓(xùn)練，建立視覺語言關(guān)聯(lián)，以實現(xiàn)有前景的開放詞匯識別。基于此，MaskCLIP做了基于CLIP的2D圖像語義分割的擴展工作。在對CLIP預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行最小修改的情況下，MaskCLIP可以直接用于新對象的語義分割，而無需額外的訓(xùn)練工作。PointCLIP將CLIP的樣本分類問題從2D圖像推廣到3D點云。它將點云框架透視投影到2D深度圖的不同視圖中，以彌合圖像和點云之間的模態(tài)間隙。上述研究表明了CLIP在2D分割和3D分類性能方面的潛力。然而，CLIP是否可以及如何有利于3D場景理解仍有待探索。

本文探討了如何利用 CLIP 的2D 圖像-文本預(yù)習(xí)知識進(jìn)行3D 場景理解。作者提出了一個新的語義驅(qū)動的跨模態(tài)對比學(xué)習(xí)框架，它充分利用 CLIP 的語義和視覺信息來規(guī)范3D 網(wǎng)絡(luò)。

作者主要的貢獻(xiàn)如下：

1、作者是第一個將CLIP知識提煉到3D網(wǎng)絡(luò)中用于3D場景理解的。

2、作者提出了一種新的語義驅(qū)動的跨模態(tài)對比學(xué)習(xí)框架，該框架通過時空和語義一致性正則化來預(yù)訓(xùn)練3D網(wǎng)絡(luò)。

3、作者提出了提出了一種新的語義引導(dǎo)的時空一致性正則化，該正則化強制時間相干點云特征與其對應(yīng)的圖像特征之間的一致性。

4、該方法首次在無注釋的三維場景分割中取得了良好的效果。當(dāng)使用標(biāo)記數(shù)據(jù)進(jìn)行微調(diào)時，本文的方法顯著優(yōu)于最先進(jìn)的自監(jiān)督方法。這里也推薦「3D視覺工坊」新課程《徹底搞懂視覺-慣性SLAM：VINS-Fusion原理精講與源碼剖析》

相關(guān)工作：

三維零樣本學(xué)習(xí)：

零樣本學(xué)習(xí)（ZSL）的目標(biāo)是識別訓(xùn)練集中看不見的對象。但是目前的方法主要都是基于2D識別的任務(wù)，對三維領(lǐng)域執(zhí)行ZSL的研究特別有限。本文進(jìn)一步研究了 CLIP 中豐富的語義和視覺知識對三維語義分割任務(wù)的影響。

自監(jiān)督表征學(xué)習(xí)：

自我監(jiān)督學(xué)習(xí)的目的是獲得有利于下游任務(wù)的良好表現(xiàn)。主流的方法是使用對比學(xué)習(xí)來與訓(xùn)練網(wǎng)絡(luò)。受CLIP成功的啟發(fā)，利用CLIP的預(yù)訓(xùn)練模型來完成下游任務(wù)引起了廣泛的關(guān)注。本文利用圖像文本預(yù)先訓(xùn)練的CLIP知識來幫助理解3D場景。

跨模式知識蒸餾：

近年來，越來越多的研究集中于將二維圖像中的知識轉(zhuǎn)化為三維點云進(jìn)行自監(jiān)督表示學(xué)習(xí)。本文首先嘗試?yán)?CLIP 的知識對一個三維網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。

具體方法：

本文研究了用于3D場景理解的CLIP的跨模態(tài)知識轉(zhuǎn)移，稱為CLIP2Scene。本文的工作是利用CLIP知識進(jìn)行3D場景理解的先驅(qū)。本文的方法由三個主要組成部分組成：語義一致性正則化、語義引導(dǎo)的時空一致性規(guī)則化和可切換的自我訓(xùn)練策略。

圖1 語義驅(qū)動的跨模態(tài)對比學(xué)習(xí)圖解。首先，本文分別通過文本編碼器、圖像編碼器和點編碼器獲得文本嵌入、圖像像素特征和點特征。本文利用CLIP知識來構(gòu)建用于對比學(xué)習(xí)的正樣本和負(fù)樣本。這樣就得到了點-文本對和短時間內(nèi)的所有像素點文本對。因此，和分別用于語義一致性正則化和時空一致性規(guī)則化。最后，通過將點特征拉到其相應(yīng)的文本嵌入來執(zhí)行語義一致性正則化，并通過將時間上相干的點特征模仿到其對應(yīng)的像素特征來執(zhí)行時空一致性正則化。

CLIP2Scene

語義一致性正則化

由于CLIP是在2D圖像和文本上預(yù)先訓(xùn)練的，作者首先關(guān)注的是2D圖像和3D點云之間的對應(yīng)關(guān)系。具體的，使用既可以獲得圖像和點云的因此，可以相應(yīng)地獲得密集的像素-點對應(yīng)，其中和表示第i個成對的圖像特征和點特征，它們分別由CLIP的圖像編碼器和3D網(wǎng)絡(luò)提取。M是對數(shù)。

圖2 圖像像素到文本映射的圖示。密集像素-文本對應(yīng)關(guān)系是通過MaskCLIP的方法提出的。

本文提出了一種利用CLIP的語義信息的語義一致性正則化。具體而言，本文通過遵循off-the-shelf方法MaskCLIP（圖2）生成密集像素文本對，其中是從CLIP的文本編碼器生成的文本嵌入。請注意，像素文本映射可從CLIP免費獲得，無需任何額外的訓(xùn)練。然后，我們將像素文本對轉(zhuǎn)換為點文本對，并利用文本語義來選擇正點樣本和負(fù)點樣本進(jìn)行對比學(xué)習(xí)。目標(biāo)函數(shù)如下：其中，代表由第個類名生成，并且是類別的數(shù)量。表示標(biāo)量積運算，是溫度項（）。由于文本是由放置在預(yù)定義的模板中的類名組成，因此文本嵌入表示相應(yīng)的類的語義信息。因此那些具有相同語義的點將被限制在相同的文本嵌入附近，而那些具有不同語義的點將被推開。為此，語義一致性正則化會減少對比學(xué)習(xí)中的沖突。

語義引導(dǎo)的時空一致性正則化

除了語義一致性正則化之外，本文還考慮圖像像素特征如何幫助正則化3D網(wǎng)絡(luò)。自然替代直接引入點特征及其在嵌入空間中的對應(yīng)像素。然而，圖像像素的噪聲語義和不完美的像素點映射阻礙了下游任務(wù)的性能。為此，提出了一種新的語義引導(dǎo)的時空一致性正則化方法，通過對局部空間和時間內(nèi)的點施加軟約束來緩解這一問題。

具體地，給定圖像和時間相干LiDAR點云，其中，是秒內(nèi)掃描的次數(shù)。值得注意的是圖像與像素點對的點云第一幀進(jìn)行匹配。本文通過校準(zhǔn)矩陣將點云的其余部分配準(zhǔn)到第一幀，并將它們映射到圖像上(圖3)。

圖3 圖像像素到點映射（左）和語義引導(dǎo)的融合特征生成（右）示意圖。本文建立了在秒內(nèi)圖像和時間相干激光雷達(dá)點云之間的網(wǎng)格對應(yīng)關(guān)系，并且生成語義引到的融合特征。和用于執(zhí)行時空一致性正則化。

因此，我們在短時間內(nèi)獲得所有像素點文本對。接下來，作者將整個縫合的點云劃分為規(guī)則網(wǎng)格，其中時間相干點位于同一網(wǎng)格中。本文通過以下目標(biāo)函數(shù)在各個網(wǎng)格內(nèi)施加時空一致性約束：

其中，代表像素-點對位于第個網(wǎng)格。是一種語義引導(dǎo)的跨模態(tài)融合特征，由以下公式表示：

其中和是注意力權(quán)重是由以下來計算的：

其中代表溫度項。實際上，局部網(wǎng)格內(nèi)的那些像素和點特征被限制在動態(tài)中心附近。因此，這種軟約束減輕了噪聲預(yù)測和校準(zhǔn)誤差問題。同時，它對時間相干點特征進(jìn)行了時空正則化處理。

實驗

數(shù)據(jù)集的選擇：兩個室外數(shù)據(jù)集 SemanticKITTI 和 nuScenes一個室內(nèi)數(shù)據(jù)集 ScanNet

無注釋語義分割

表2 是針對不同數(shù)據(jù)集的無注釋的3D語義分割的性能表3 是無注釋三維語義分割的nuScenes數(shù)據(jù)集消融研究。這里也推薦「3D視覺工坊」新課程《徹底搞懂視覺-慣性SLAM：VINS-Fusion原理精講與源碼剖析》

高效注釋的語義分割

如表1所示，當(dāng)對1%和100%nuScenes數(shù)據(jù)集進(jìn)行微調(diào)時，該方法顯著優(yōu)于最先進(jìn)的方法，分別提高了8.1%和1.1%。與隨機初始化相比，改進(jìn)幅度分別為14.1%和2.4%，表明了本文的語義驅(qū)動跨模態(tài)對比學(xué)習(xí)框架的有效性。定性結(jié)果如圖4所示。此外，本文還驗證了該方法的跨域泛化能力。

圖4 對1%nuScenes數(shù)據(jù)集進(jìn)行微調(diào)的定性結(jié)果。從第一行到最后一行分別是輸入激光雷達(dá)掃描、真值、SLidR預(yù)測和我們的預(yù)測。請注意，我們通過誤差圖顯示結(jié)果，其中紅點表示錯誤的預(yù)測。顯然，本文的方法取得了不錯的性能。

結(jié)論

在這項名為CLIP2Scene的工作中，作者探討了CLIP知識如何有助于3D場景理解。為了有效地將CLIP的圖像和文本特征轉(zhuǎn)移到3D網(wǎng)絡(luò)中，作者提出了一種新的語義驅(qū)動的跨模態(tài)對比學(xué)習(xí)框架，包括語義正則化和時空正則化。作者的預(yù)訓(xùn)練3D網(wǎng)絡(luò)首次以良好的性能實現(xiàn)了無注釋的3D語義分割。此外，當(dāng)使用標(biāo)記數(shù)據(jù)進(jìn)行微調(diào)時，我們的方法顯著優(yōu)于最先進(jìn)的自監(jiān)督方法。