激光雷達(dá)在自動(dòng)駕駛、無人機(jī)和機(jī)器人領(lǐng)域受到越來越多的關(guān)注，對于點(diǎn)云的分類、檢測和分割的視覺任務(wù)也在高速發(fā)展。但由于激光雷達(dá)產(chǎn)生的點(diǎn)云十分稀疏且不規(guī)則，圖像領(lǐng)域的方法無法有效地拓展到三維點(diǎn)云的分析和處理中。

為了有效處理這一問題，來自香港中文大學(xué)和商湯的研究人員們通過對目標(biāo)的部分感知和聚合對點(diǎn)云特征進(jìn)行抽取和分析，提出了可以精確預(yù)測目標(biāo)內(nèi)部相對位置并給出三維候選框的網(wǎng)絡(luò)架構(gòu)；同時(shí)利用可差分的ROI-aware池化和點(diǎn)云聚合網(wǎng)絡(luò)對內(nèi)部信息進(jìn)行提取和聚合；最后在目標(biāo)內(nèi)部各部分空間相關(guān)信息的輔助下實(shí)現(xiàn)了高效的三維點(diǎn)云目標(biāo)檢測算法Part-A^2 Net(Part-Aware and Aggregation)。

圖中可以看到預(yù)測出的結(jié)果不僅包含了每個(gè)框的坐標(biāo)，目標(biāo)內(nèi)部點(diǎn)的顏色還表示了每個(gè)點(diǎn)的相對位置，對于提高目標(biāo)檢測的性能十分重要。

目前的三維檢測算法主要集中在以下幾個(gè)方法。

一類方法將點(diǎn)云投影到鳥瞰視圖下并利用2D的卷積網(wǎng)絡(luò)進(jìn)行特征抽取從而實(shí)現(xiàn)三維目標(biāo)檢測；

另一類方法則將三維空間劃分為規(guī)則的體素，并利用三維(稀疏)卷積進(jìn)行特征抽取；

還有的方法利用點(diǎn)云與圖像結(jié)合，在二維圖像中檢測出目標(biāo)bbox隨后利用PointNet基于2D結(jié)果對點(diǎn)云進(jìn)行裁剪和處理并獲取三維框。

但這些方法都會(huì)受到來自投影過程、體素量化過程或2D目標(biāo)檢測器造成信息損失的影響，無法精確有效地進(jìn)行三維點(diǎn)云的目標(biāo)檢測。為了更有效地處理三維點(diǎn)云，研究人員們開始嘗試直接從點(diǎn)云中抽取特征生成3D候選框，利用三維bbox標(biāo)注直接生成對前景和背景進(jìn)行有效分離的標(biāo)簽。在此過程中研究人員發(fā)現(xiàn)三維bbox不僅提供了分割的標(biāo)簽，同時(shí)還精確地給出了目標(biāo)內(nèi)部各部分精確的相對位置。

與二維圖像中會(huì)相互遮擋的物體不同，三維點(diǎn)云中的物體都是天然分離的，使得三維目標(biāo)內(nèi)部各個(gè)部分的相對位置可以精確獲取，這些方法將有效提高目標(biāo)檢測方法的性能?；谶@樣的觀察結(jié)果，研究人員提出了一個(gè)部分感知和聚合的網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行三維點(diǎn)云目標(biāo)檢測。

研究人員從三維標(biāo)注數(shù)據(jù)獲得的目標(biāo)內(nèi)部各部分的相對位置標(biāo)簽和分割標(biāo)簽來輔助三維候選框的生成過程，隨后對每個(gè)候選框內(nèi)的3D目標(biāo)部分位置進(jìn)行聚合來為bbox評(píng)分并對框的位置進(jìn)行優(yōu)化。這種方法為點(diǎn)云處理提供了新的視角，并幫助算法在目標(biāo)檢測中取得更好的結(jié)果。

上圖中可以看到算法分為了兩個(gè)主要的部分，部分感知模塊用于精確估計(jì)目標(biāo)內(nèi)部各個(gè)部分/點(diǎn)間的相對位置，同時(shí)給出三維的候選框；聚合部分針對每個(gè)候選框內(nèi)的點(diǎn)進(jìn)行ROI池化和分組，實(shí)現(xiàn)特征抽?。浑S后利用聚合網(wǎng)絡(luò)來對框進(jìn)行評(píng)測并給予內(nèi)部的相對空間信息對位置進(jìn)行優(yōu)化。

估計(jì)對象內(nèi)各部分的位置

為了有效分離出點(diǎn)云中的前景和背景并預(yù)測出對象內(nèi)部各部分的相對位置，需要從點(diǎn)云中獲取可分辨的逐點(diǎn)特征。

研究人員首先使用了體素化的三維空間并利用卷積對非空的體素進(jìn)行特征抽取。每個(gè)體素的中心被視為一個(gè)新的點(diǎn)，這些點(diǎn)構(gòu)成了一個(gè)與原始點(diǎn)云近似的新點(diǎn)云（體素大小5cm5cm10cm，空間大小70m80m4m)。在使用的KITTI數(shù)據(jù)中每個(gè)數(shù)據(jù)樣本包含了大概16000非空的體素。

用于特征抽取額U-Net架構(gòu)和對應(yīng)的上采樣模塊

為了對稀疏的體素信息進(jìn)行高效的處理，研究人員利用U-Net的架構(gòu)對點(diǎn)云進(jìn)行了下采樣和特征抽取。為了得到前景分割和各部分位置的預(yù)測，還需要對進(jìn)行上采樣解碼。模塊中同時(shí)對隱含特征和底層特征進(jìn)行融合，最后通過稀疏逆卷積實(shí)現(xiàn)下采樣。

對象內(nèi)各部分的相對位置信息是網(wǎng)絡(luò)對目標(biāo)進(jìn)行識(shí)別和檢測的保證。例如車輛的側(cè)面幾乎是垂直于地面的，而輪子是與地面相接觸的。通過學(xué)習(xí)和估計(jì)前景分割和目標(biāo)內(nèi)部各個(gè)點(diǎn)的相對位移關(guān)系將使得網(wǎng)絡(luò)可以學(xué)會(huì)推理出目標(biāo)的位姿和形態(tài)，提高檢測性能。在U-Net主干網(wǎng)絡(luò)的基礎(chǔ)上，模型通過兩個(gè)分支分別進(jìn)行前景分割和目標(biāo)內(nèi)部個(gè)部分的位置預(yù)測。針對目標(biāo)內(nèi)部的點(diǎn)，需要先將全局的三維坐標(biāo)轉(zhuǎn)換為局部的坐標(biāo)進(jìn)行分析。在三維點(diǎn)云的bbox中天然的包含了框中每一個(gè)點(diǎn)在對象內(nèi)部的坐標(biāo)。研究人員通過將目標(biāo)內(nèi)部的點(diǎn)轉(zhuǎn)換到框原點(diǎn)坐標(biāo)系中并利用框的w,l.h來歸一化，得到了內(nèi)部點(diǎn)在內(nèi)部坐標(biāo)系下的新表示，并作為預(yù)測內(nèi)部各部分點(diǎn)相對位置的標(biāo)簽。網(wǎng)絡(luò)將通過優(yōu)化二值化的交叉熵來實(shí)現(xiàn)對于每一個(gè)對象內(nèi)部點(diǎn)相對位置的預(yù)測。

最后為了生成三維候選框來聚合各個(gè)目標(biāo)內(nèi)部的位置信息，研究人員在U-Net的特征圖位置補(bǔ)充了一個(gè)RPN(regional proposal network)結(jié)構(gòu)，通過對1/8下采樣的特征圖和不同高度融合的鳥瞰特征圖進(jìn)行處理生成3D候選區(qū)域。

具有ROI感知的點(diǎn)云特征池化

在得到目標(biāo)內(nèi)部各個(gè)的相對位置和一系列的三維候選框后，將要對box進(jìn)行評(píng)分，并通過聚合同一候選框內(nèi)的所有點(diǎn)的相對信息來實(shí)現(xiàn)候選框的位置優(yōu)化。

為了避免池化帶來了信息損失和模糊，研究人員提出了ROI感知的點(diǎn)云池化模塊，將3D候選分配到固定大小(14*14*14)的均勻體素中去。體素中的特征通過(最大池化，均值池化)聚合內(nèi)部點(diǎn)的特征來得到，并將空體素的特征設(shè)置為0。池化過程中聯(lián)合編碼空體素。這一過程將不同的三維候選框歸一化到了相同的坐標(biāo)系下，其中每個(gè)體素都編碼了對應(yīng)候選框中柵格特征。

內(nèi)部位置的聚合與三維bbox的優(yōu)化

研究人員通過聚合候選框內(nèi)部所有三維點(diǎn)的內(nèi)部相對位置來評(píng)價(jià)候選框的質(zhì)量，并通過基于學(xué)習(xí)的優(yōu)化方法來解決這一問題。

針對每個(gè)三維候選框，首先通過平均池化預(yù)測每個(gè)點(diǎn)的位置，通過最大池化獲取每個(gè)點(diǎn)的特征。隨后通過逐級(jí)處理的方式來最終預(yù)測最終的得分與優(yōu)化后的bbox坐標(biāo)。

結(jié)果

在實(shí)驗(yàn)過程中，研究人員結(jié)合了三部分的損失函數(shù)來對模型進(jìn)行了訓(xùn)練，分別是復(fù)雜前景分割的focal損失，負(fù)責(zé)回歸每個(gè)內(nèi)部點(diǎn)相對位移的二進(jìn)制交叉熵以及負(fù)責(zé)進(jìn)行三維候選框生成的平滑L1損失。

針對聚合階段還包括了IoU回歸的二進(jìn)制交叉熵以及位置優(yōu)化的平滑L1。研究人員在KITTI上進(jìn)行了實(shí)現(xiàn)，下表顯示了這一方法在平均精度上顯著高于先前的解決方案。

同時(shí)消溶性分析還顯示這一方法通過對于特征的有效學(xué)習(xí)有效提高了召回率和精度。

最終的結(jié)果可以看到對于場景中車輛的預(yù)測性能優(yōu)異，而每個(gè)框內(nèi)的部分位置也實(shí)現(xiàn)了較為精確的預(yù)測。