摘要

基于單張RGB圖像在3D場景空間中定位行人對于各種下游應(yīng)用至關(guān)重要。目前的單目定位方法要么利用行人的包圍盒，要么利用他們身體的可見部分進(jìn)行定位。這兩種方法在現(xiàn)實(shí)場景中都引入了額外的誤差—擁擠的環(huán)境中有多個行人被遮擋。為了克服這一局限性，本文提出了一種新穎的人體姿態(tài)感知行人定位框架來模擬被遮擋行人的姿態(tài)，從而實(shí)現(xiàn)在圖像和地面空間中的精確定位。這是通過提出一個輕量級的神經(jīng)網(wǎng)絡(luò)架構(gòu)來完成的，確保了快速和準(zhǔn)確的預(yù)測缺失的身體部分的下游應(yīng)用。在兩個真實(shí)世界的數(shù)據(jù)集上進(jìn)行的綜合實(shí)驗(yàn)證明了該框架在預(yù)測行人丟失身體部位以及行人定位方面的有效性。

引言

為了緩解以往研究的局限性，本研究的目的是：

（1）從可見身體部位的位置有效地估計(jì)出被遮擋的身體部位；

（2）使用該估計(jì)器準(zhǔn)確地定位地面上被遮擋的行人。為此，受最近關(guān)于姿態(tài)估和單目行人定位的研究啟發(fā)，本文提出了一種新穎的人體姿態(tài)感知行人定位框架。

首先提出了一種在圖像空間中模擬被遮擋行人姿態(tài)的方法。這是通過基于他們其他可見的身體部位或關(guān)節(jié)(如鼻子、肩膀、手腕或膝蓋)來估計(jì)他們身體缺失部分在圖像中的位置來完成的。為此，我們提出了一個輕量級的前饋神經(jīng)網(wǎng)絡(luò)，并在Microsoft COCO中對被檢測行人的身體結(jié)構(gòu)關(guān)鍵點(diǎn)進(jìn)行訓(xùn)練，這是行人檢測中廣泛使用的開放基準(zhǔn)數(shù)據(jù)集。受martinez等人(2017)啟發(fā)，腳部預(yù)測器的輕量化結(jié)構(gòu)使該框架能夠準(zhǔn)確有效地估計(jì)地面上行人的位置。為了估計(jì)行人可見關(guān)節(jié)，我們使用了OpenPifPaf (Kreiss等人，2019年)，一種最先進(jìn)的人體姿勢檢測器。這為我們提供了圖像空間中行人姿態(tài)的抽象表現(xiàn)。然后，對足部位置應(yīng)用單應(yīng)性變換，將坐標(biāo)從圖像平面轉(zhuǎn)換到地平面。

在兩個真實(shí)世界的數(shù)據(jù)集上進(jìn)行的實(shí)證明了本文提出的方法在估計(jì)行人在圖像空間中的位置方面的有效性。我們的評估還表明，與目前最先進(jìn)的方法相比，本文提出的方法在定位精度方面提高了60%以上。提出的框架是作為一種實(shí)用的解決方案，以在常見安裝場景的監(jiān)控?cái)z像頭中準(zhǔn)確地定位行人。然而，正如KITTI數(shù)據(jù)集所示，它也可以應(yīng)用于其他相機(jī)設(shè)置，如自動駕駛汽車中估算單應(yīng)性變換的實(shí)用解決方案。

綜上所述，本文的貢獻(xiàn)如下:

（1）提出了一種基于其他可見部位的方法來估計(jì)被遮擋的身體部位(如腳)的位置。

（2）使用真實(shí)世界的數(shù)據(jù)進(jìn)行了一系列全面的實(shí)驗(yàn)，并證明我們提出的框架可以準(zhǔn)確地估計(jì)腳的位置，并在定位精度方面優(yōu)于之前的方法。

方法

本研究旨在利用人體結(jié)構(gòu)，改進(jìn)基于單一圖像的步行者定位方法。這是通過預(yù)測行人丟失的身體部位來實(shí)現(xiàn)的。為了實(shí)現(xiàn)這一目標(biāo)，本文提出了一個包括三個主要步驟的框架。如下圖所示，首先使用最先進(jìn)的姿態(tài)檢測方法檢測圖像中的行人可見的身體部位和關(guān)節(jié)。然后對于每一個被檢測到的行人，我們從可見部分識別并預(yù)測他們的腳的位置，從而實(shí)現(xiàn)準(zhǔn)確定位。最后應(yīng)用單應(yīng)性變換來估計(jì)被測足的地平面坐標(biāo)。這些步驟在這個階段是分開的，但是它們有可能形成一個端到端系統(tǒng)。

接下來詳細(xì)介紹了該框架的三個步驟。

1、行人姿態(tài)估計(jì)

本文采用了一種名為OpenPifPaf (Kreiss et al.，2019)的最先進(jìn)的姿勢檢測器來檢測行人，并在圖像空間中找到他們對應(yīng)的身體部位和關(guān)節(jié)。讓表示為圖像空間中被檢測到的行人的集合。這里，n表示圖像中檢測到的人類總數(shù)。每一個表示身體特定部位或關(guān)節(jié)在圖像空間中的位置。這里K表示姿勢檢測器可以識別的身體部位和關(guān)節(jié)的數(shù)量——在OpenPifPaf的情況下，最多可以識別17個關(guān)節(jié)。采用姿勢檢測器的優(yōu)點(diǎn)是，它通過將腳的位置投射到地平面上，從而便于精確定位。

為了準(zhǔn)確估計(jì)行人的位置，我們認(rèn)為在定位時應(yīng)考慮行人的腳位置。這是因?yàn)樵谝话闱闆r下，相機(jī)可能對現(xiàn)場有一個傾斜的透視視角，考慮到bertoni等人(2019)提出的行人身體的中心點(diǎn)，將會給他們在地面上的估計(jì)位置增加一個顯著的誤差。此外，遮擋導(dǎo)致關(guān)節(jié)可能丟失。為了克服這一挑戰(zhàn)，我們建議從檢測到的關(guān)節(jié)中估計(jì)缺失的位置。

2、估計(jì)缺失的身體部位

本文方法可以基于行人在圖像空間中的其他可見身體部位，有效地預(yù)測行人缺失關(guān)節(jié)的位置。這種方法可以幫助我們解決基于包圍盒的定位方法對行人遮擋的局限性，通過可見的關(guān)節(jié)來估計(jì)遮擋的身體部位。該網(wǎng)絡(luò)能夠?qū)W習(xí)和預(yù)測身體各部位之間的協(xié)同模式，以及不同關(guān)節(jié)或身體各部位之間的距離。

下圖顯示了所提議的解決方案的總體流程。該網(wǎng)絡(luò)以人體可用部位的位置向量作為輸入，并估計(jì)缺失部位的位置。為了訓(xùn)練網(wǎng)絡(luò)，我們提供一套完整的關(guān)節(jié)，讓網(wǎng)絡(luò)學(xué)習(xí)不同身體部位的相對位置。該網(wǎng)絡(luò)架構(gòu)受到martinez等人(2017)的啟發(fā)，因?yàn)樘岢龅募軜?gòu)受益于深度學(xué)習(xí)領(lǐng)域的各種改進(jìn)，同時它仍然保持簡單和輕量級，以確保對下游應(yīng)用的快速響應(yīng)。我們進(jìn)行了消融研究，以發(fā)現(xiàn)適合我們應(yīng)用的最佳網(wǎng)絡(luò)架構(gòu)。在消融研究的基礎(chǔ)上，提出了一個具有兩個線性層和2048輸出特征的深度前饋神經(jīng)網(wǎng)絡(luò)。我們還在每個全連接層后采用了退出(Srivastava等人，2014年)和批處理標(biāo)準(zhǔn)化(Ioffe和Szegedy, 2015年)，以防止過擬合。為了給我們的適應(yīng)網(wǎng)絡(luò)添加非線性，我們使用矯正線性單元(ReLus) (Nair和Hinton, 2010)作為神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。

為了在擁擠環(huán)境中實(shí)現(xiàn)單目行人定位，我們使用該模型來預(yù)測行人的腳的位置。在COCO數(shù)據(jù)集上訓(xùn)練和評估模，首先選擇數(shù)據(jù)集中現(xiàn)有腳位置的那些檢測到的行人。接下來，我們開發(fā)了一種數(shù)據(jù)增強(qiáng)技術(shù)，并應(yīng)用于模擬現(xiàn)實(shí)場景，在這種場景中，攝像機(jī)對身體不同部位和關(guān)節(jié)的視角可能會被周圍的行人或物體遮擋。因此，我們隨機(jī)生成不同的行人解剖關(guān)鍵點(diǎn)組合，并將其增加到原始數(shù)據(jù)集，以豐富訓(xùn)練，并使網(wǎng)絡(luò)適應(yīng)真實(shí)的遮擋場景。通過這種方式，在保留實(shí)例的解剖約束的同時，我們設(shè)法模擬在真實(shí)場景中發(fā)生的不同類型的遮擋。然后將所有檢測到的行人的邊界框左上角移動到圖像坐標(biāo)的原點(diǎn)，對關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行歸一化，以標(biāo)準(zhǔn)化預(yù)測。

作為損失函數(shù)，我們利用常用的二范數(shù)來學(xué)習(xí)行人腳在圖像空間中的坐標(biāo)，從而最小化位置估計(jì)誤差。給定一組已知的非腳的關(guān)鍵點(diǎn)，如鼻子、左肩或右手腕，以及它們相應(yīng)的左、右腳踝關(guān)鍵點(diǎn)，表示損失函數(shù)為:

其中，w為網(wǎng)絡(luò)的導(dǎo)出權(quán)值，為模型估計(jì)的行人i在圖像空間中的腳位置，n是圖像中檢測到的行人數(shù)量。

3、地面位置估計(jì)

在第三階段，我們對估計(jì)的足部位置應(yīng)用單應(yīng)變換以確定地面空間坐標(biāo):

在這里，ui和vi反映了行人i在圖像空間中的位置，xi和yi代表了相應(yīng)的地面二維坐標(biāo)。單應(yīng)矩陣的8個未知參數(shù)，可以使用一組在圖像空間和地面空間中手工測量的特征點(diǎn)來估計(jì)。

然后將最小二乘模型應(yīng)用于投影空間中相應(yīng)的線性方程組，確定估計(jì)的單應(yīng)性變換參數(shù)。求解齊次線性投影至少需要四個控制點(diǎn)。最后，給定一個行人的每個腳的位置，即可以在地面空間估計(jì)相應(yīng)的坐標(biāo)。

實(shí)驗(yàn)

為了準(zhǔn)確估計(jì)行人丟失的身體部位，我們在2017年COCO訓(xùn)練數(shù)據(jù)集(Lin et al.，2014)上訓(xùn)練我們提出的網(wǎng)絡(luò)。此外，在SCS和KITTI兩個數(shù)據(jù)集上對所提出的框架進(jìn)行評估。

在這項(xiàng)工作中，我們將提出的框架與Monoloco方法和幾何基線方法進(jìn)行了比較。為了評估模塊的性能，使用了兩個常用的評估指標(biāo)，即均方根誤差(RMSE)和平均絕對誤差(MAE)。

下圖顯示了KITTI數(shù)據(jù)集上被遮擋行人的預(yù)測腳位置的三個例子。如圖所示，我們提出的網(wǎng)絡(luò)可以有效地預(yù)測圖像空間中被遮擋的行人腳的位置（綠圈）。同時，可以看到，在遮擋行人的情況下，包圍框的底部中心點(diǎn)（黃圈）是完全偏離的。

此外，我們研究了估計(jì)行人缺失部分位置的誤差分布，這里稱為位置估計(jì)誤差。如下圖(a)所示，在圖像空間中，距離攝像機(jī)較近的行人的位置估計(jì)誤差明顯高于距離平臺較遠(yuǎn)的其他行人。這可能是由于相機(jī)角度的影響，接近相機(jī)的行人看起來更大但更短，這使得估計(jì)腳的位置不太準(zhǔn)確。

此外，利用單應(yīng)性變換將誤差投影到地面，在真實(shí)尺度上檢測定位誤差。從上圖(b)可以看出，雖然圖像空間的誤差較大，但距離攝像機(jī)更近的行人相對于距離更遠(yuǎn)的行人，其位置估計(jì)誤差較小，在圖像最遠(yuǎn)的部分，誤差可達(dá)1 m。這是由于傾斜圖像的尺度變化，圖像的尺度在上部較小，導(dǎo)致定位誤差在圖像空間中投影到地面上的誤差更大。

下表比較了我們提出的方法與兩種基線方法在行人定位中的RMSE和MAE。可以觀察到，我們的方法在兩個數(shù)據(jù)集的評估指標(biāo)方面都顯著優(yōu)于Monoloco和幾何基線。

特別是，在行人完全可見的情況下，我們提出的框架實(shí)現(xiàn)了幾乎類似或略好于幾何基線的定位精度；在遮擋行人的情況下，我們的方法明顯優(yōu)于其他兩種基線方法，并且這種改進(jìn)隨著遮擋程度的提高而增加。

與最先進(jìn)的基線相比，我們的方法的更好的性能可以通過以下論點(diǎn)來證明。Monoloco將圖像平面中每個實(shí)例的邊界框的中心點(diǎn)反向投影到該實(shí)例的3D位置。幾何基線也使用實(shí)例邊界框的底部中心來定位行人。然而，這種方法可能不是特別準(zhǔn)確，因?yàn)樵谠S多現(xiàn)實(shí)世界的情況下，四肢可能是不對稱的延伸，或者包圍框可能沒有緊緊圍繞行人的輪廓。這種情況加上行人遮擋的情況會在位置估計(jì)過程中造成額外的誤差。另一方面，我們的方法不依賴于包圍框，而是使用各種可見關(guān)鍵點(diǎn)的共現(xiàn)來估計(jì)地面坐標(biāo)。

結(jié)論

本文提出了一種基于單目視覺的行人定位框架，為了解決擁擠環(huán)境下行人遮擋的問題，我們使用一種輕量級的深度神經(jīng)網(wǎng)絡(luò)來估計(jì)人體姿勢缺失的部分。在兩個真實(shí)世界的數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，與現(xiàn)有的最先進(jìn)的方法相比，該方法是有效的。我們提出的框架在實(shí)際情況下顯示了很好的性能，以準(zhǔn)確估計(jì)單應(yīng)性變換。這項(xiàng)工作的一個局限性是缺乏一種方法來估計(jì)預(yù)測位置的不確定性。因此，未來的研究方向可以是使用熱力圖或貝葉斯深度學(xué)習(xí)來量化預(yù)測位置的不確定性。作為另一個未來方向，可以利用行人在連續(xù)幀中的時間相關(guān)性來進(jìn)一步提高人體缺失部位的預(yù)測。

審核編輯：劉清