在多傳感器信息融合技術(shù)中，相機(jī)和3D激光雷達(dá)在其特性高度互補(bǔ)的前提下得到了快速發(fā)展和廣泛應(yīng)用。在許多基于相機(jī)和3D激光雷達(dá)的應(yīng)用中，相機(jī)內(nèi)參以及相機(jī)和3D激光雷達(dá)外參的聯(lián)合標(biāo)定是后期檢測(cè)、跟蹤和SLAM技術(shù)的重要基礎(chǔ)。隨著算法的更新和迭代，標(biāo)定的準(zhǔn)確性、速度和范圍都有所提高，但仍缺乏對(duì)相機(jī)和3D激光雷達(dá)標(biāo)定的系統(tǒng)和全面的調(diào)查。本文首先介紹了兩種傳感器的性能比較和應(yīng)用現(xiàn)狀；其次，介紹了標(biāo)定過(guò)程、標(biāo)定目標(biāo)的選擇和標(biāo)定模型的建立；然后根據(jù)分類，介紹了攝像機(jī)內(nèi)部參數(shù)標(biāo)定和聯(lián)合外部參數(shù)標(biāo)定的原理和算法；最后，總結(jié)并給出了相機(jī)和3D激光雷達(dá)標(biāo)定的未來(lái)發(fā)展！

以無(wú)人車和機(jī)器人為代表的地面無(wú)人平臺(tái)由于其自主性、靈活性和體積小，在偵察、安全檢查和防爆任務(wù)中具有廣闊的應(yīng)用前景。近年來(lái)，出現(xiàn)了許多關(guān)于無(wú)人平臺(tái)環(huán)境感知和場(chǎng)景理解的研究，在眾多關(guān)鍵技術(shù)中，獲取目標(biāo)姿態(tài)信息是無(wú)人平臺(tái)實(shí)現(xiàn)目標(biāo)感知和環(huán)境場(chǎng)景理解的關(guān)鍵前提，如圖1所示。

在多傳感器信息融合技術(shù)中，相機(jī)和3D激光雷達(dá)在其特性高度互補(bǔ)的前提下得到了快速發(fā)展和廣泛應(yīng)用。在許多基于相機(jī)和3D激光雷達(dá)的應(yīng)用中，相機(jī)內(nèi)參以及相機(jī)和3D激光雷達(dá)外參的聯(lián)合標(biāo)定是后期檢測(cè)、跟蹤和SLAM技術(shù)的重要基礎(chǔ)。隨著算法的更新和迭代，標(biāo)定的準(zhǔn)確性、速度和范圍都有所提高，但仍缺乏對(duì)相機(jī)和3D激光雷達(dá)標(biāo)定的系統(tǒng)和全面的調(diào)查。本文首先介紹了兩種傳感器的性能比較和應(yīng)用現(xiàn)狀；其次，介紹了標(biāo)定過(guò)程、標(biāo)定目標(biāo)的選擇和標(biāo)定模型的建立；然后根據(jù)分類，介紹了攝像機(jī)內(nèi)部參數(shù)標(biāo)定和聯(lián)合外部參數(shù)標(biāo)定的原理和算法；最后，總結(jié)并給出了相機(jī)和3D激光雷達(dá)標(biāo)定的未來(lái)發(fā)展！

以無(wú)人車和機(jī)器人為代表的地面無(wú)人平臺(tái)由于其自主性、靈活性和體積小，在偵察、安全檢查和防爆任務(wù)中具有廣闊的應(yīng)用前景。近年來(lái)，出現(xiàn)了許多關(guān)于無(wú)人平臺(tái)環(huán)境感知和場(chǎng)景理解的研究，在眾多關(guān)鍵技術(shù)中，獲取目標(biāo)姿態(tài)信息是無(wú)人平臺(tái)實(shí)現(xiàn)目標(biāo)感知和環(huán)境場(chǎng)景理解的關(guān)鍵前提，如圖1所示。

現(xiàn)階段，大多數(shù)無(wú)人平臺(tái)采用“激光雷達(dá)+視覺(jué)攝像頭”解決方案，以實(shí)現(xiàn)完整的環(huán)境感知。其中，激光雷達(dá)在目標(biāo)表面獲得高精度、離散的三維點(diǎn)云數(shù)據(jù)，受環(huán)境影響較小，具有良好的魯棒性；視覺(jué)攝像機(jī)可以獲得高分辨率、高質(zhì)量的二維視覺(jué)信息，在環(huán)境感知和目標(biāo)檢測(cè)方面具有很大的優(yōu)勢(shì)。由于相機(jī)和激光雷達(dá)的信息具有高度互補(bǔ)性，融合兩者不僅可以克服單一傳感器在環(huán)境感知方面的缺點(diǎn)，還可以獲得更豐富的目標(biāo)觀測(cè)數(shù)據(jù)，提高其環(huán)境感知的準(zhǔn)確性，如圖2和表I所示。

由于激光雷達(dá)數(shù)據(jù)點(diǎn)稀疏，視覺(jué)相機(jī)分辨率高，激光雷達(dá)和視覺(jué)相機(jī)的聯(lián)合校準(zhǔn)是實(shí)現(xiàn)兩者融合的基礎(chǔ)環(huán)節(jié)。為了響應(yīng)激光雷達(dá)和視覺(jué)相機(jī)的聯(lián)合校準(zhǔn)，已經(jīng)提出了各種標(biāo)定方法。然而，這些方法大多是根據(jù)實(shí)際需要進(jìn)行的，因此沒(méi)有系統(tǒng)的解決方案，并且缺乏開源校準(zhǔn)數(shù)據(jù)集，各種方法也不統(tǒng)一，很難為研究人員提供明確的參考。在此基礎(chǔ)上，本文總結(jié)了近年來(lái)激光雷達(dá)與單相機(jī)聯(lián)合標(biāo)定的先進(jìn)標(biāo)定方法。本文將重點(diǎn)討論聯(lián)合標(biāo)定系統(tǒng)構(gòu)建、標(biāo)定板設(shè)計(jì)、標(biāo)定參數(shù)求解等基本問(wèn)題，如圖3和圖4所示。

標(biāo)定系統(tǒng)的構(gòu)建

一個(gè)典型的標(biāo)定系統(tǒng)可以分為以下步驟：首先根據(jù)要求選擇激光雷達(dá)、視覺(jué)相機(jī)和標(biāo)定板，然后根據(jù)一定的方法建立標(biāo)定目標(biāo)在不同坐標(biāo)系中的轉(zhuǎn)換關(guān)系，最后求解轉(zhuǎn)換矩陣。其中，標(biāo)定板的選擇、坐標(biāo)系轉(zhuǎn)換關(guān)系的建立、標(biāo)定方程的求解是關(guān)鍵環(huán)節(jié)。

圖5顯示了基于標(biāo)定板的激光雷達(dá)和相機(jī)聯(lián)合標(biāo)定所涉及的四個(gè)主要坐標(biāo)系！像素坐標(biāo)系（u，v），相機(jī)坐標(biāo)系，圖像平面坐標(biāo)系（x，y），激光雷達(dá)坐標(biāo)系。

相機(jī)和激光雷達(dá)的聯(lián)合標(biāo)定通常包括兩部分：內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定。內(nèi)部參數(shù)標(biāo)定主要解決攝像機(jī)CCD傳感器本身畸變和安裝的影響；外部參數(shù)標(biāo)定主要用于建立兩個(gè)傳感器之間的坐標(biāo)轉(zhuǎn)換方程。如圖6所示，這是相機(jī)和激光雷達(dá)聯(lián)合校準(zhǔn)的流程圖！

標(biāo)定板的選擇根據(jù)標(biāo)定對(duì)象和提取的特征點(diǎn)而不同，標(biāo)定可以通過(guò)兩種方式進(jìn)行：基于目標(biāo)的標(biāo)定或無(wú)目標(biāo)標(biāo)定。基于目標(biāo)的標(biāo)定通常使用特定的標(biāo)定板以便于算法提取特定的特征點(diǎn)，而無(wú)目標(biāo)標(biāo)定方法通常直接使用環(huán)境中的材料或結(jié)構(gòu)特征來(lái)提取和匹配以實(shí)現(xiàn)標(biāo)定，以增加標(biāo)定的范圍和便利，如圖7所示。

1）Target-based Calibration

基于目標(biāo)標(biāo)定的特點(diǎn)是在標(biāo)定過(guò)程中使用特定形式的標(biāo)定板。這樣，特征點(diǎn)易于捕獲，所需算法簡(jiǎn)單，計(jì)算能力小。但缺點(diǎn)也很明顯：一是必須在使用傳感器之前對(duì)其進(jìn)行標(biāo)定，而且不能進(jìn)行實(shí)時(shí)標(biāo)定。另一個(gè)是二維平面板（如棋盤）需要獲得清晰的對(duì)應(yīng)關(guān)系，這不僅使得最終的標(biāo)定精度嚴(yán)重依賴于3D和2D特征點(diǎn)，還需要人工干預(yù)！

二維標(biāo)定板

二維標(biāo)定板通常取決于特定的標(biāo)定目標(biāo)，最常用的是棋盤。張［1］首先提出了一種棋盤標(biāo)定板，通過(guò)具有多個(gè)姿態(tài)的棋盤來(lái)估計(jì)二維激光雷達(dá)和相機(jī)之間的參數(shù)。Ranjith Unnikrishnan等人［2］基于Zhang提出的相機(jī)和2D激光雷達(dá)的標(biāo)定方法，提出了3D激光雷達(dá)和相機(jī)外部參數(shù)的標(biāo)定方法，如圖8所示。

然而，由于激光雷達(dá)的縱向光束之間的距離大且采集分辨率低，很難通過(guò)邊緣提取來(lái)保證精確頂點(diǎn)的精度。Lyu［3］手動(dòng)調(diào)整棋盤在激光點(diǎn)云中的位置，以便掃描線可以掃描到棋盤的頂點(diǎn)，但這將增加標(biāo)定過(guò)程的時(shí)間和復(fù)雜性。

同樣為了解決點(diǎn)云邊緣擬合不準(zhǔn)確的問(wèn)題，康國(guó)華等人［4］使用點(diǎn)云中心的粗配準(zhǔn)來(lái)實(shí)現(xiàn)點(diǎn)云的整體精細(xì)配準(zhǔn)。從另一個(gè)角度來(lái)看，除了輸出三維點(diǎn)云的坐標(biāo)信息，激光雷達(dá)還可以帶回反射強(qiáng)度信息。［5］ 對(duì)不同材料的激光雷達(dá)反射強(qiáng)度設(shè)置閾值，以獲得激光雷達(dá)點(diǎn)云，并在此基礎(chǔ)上設(shè)計(jì)了一種新的標(biāo)定板。

ArUco標(biāo)記是一種特殊的編碼模式，便于檢測(cè)和糾正標(biāo)簽本身的錯(cuò)誤。霍爾等人提出了一種用于由多個(gè)單元組成的實(shí)驗(yàn)裝置的校準(zhǔn)板。方法［6］使用ArUco標(biāo)記計(jì)算相機(jī)坐標(biāo)系中標(biāo)定板的角點(diǎn)，激光雷達(dá)點(diǎn)提取擬合的邊緣線，然后可以計(jì)算激光雷達(dá)相機(jī)的外部參數(shù)。在實(shí)際應(yīng)用中，這種方法與棋盤中的激光雷達(dá)一樣，包括不穩(wěn)定的邊緣提取和線擬合算法，這將給校準(zhǔn)帶來(lái)很大的誤差。此外，由于需要多個(gè)標(biāo)定板，該方法更加復(fù)雜。為了增加激光雷達(dá)點(diǎn)云的可提取特征，出現(xiàn)了一個(gè)空心標(biāo)定板。Dong等人［7］和Zhung等人［8］的工作有些相似，他們?cè)诤诎灼灞P的中心構(gòu)造了一個(gè)空心圓孔，并將圓孔的中心校準(zhǔn)為特征點(diǎn)。然而，由于激光雷達(dá)點(diǎn)云沒(méi)有明顯的特征，因此只能從整個(gè)圓孔點(diǎn)云近似計(jì)算中心的坐標(biāo)，如圖9所示。

最近，黃強(qiáng)等人［9］提出了一種基于可重構(gòu)標(biāo)定板的激光雷達(dá)和視覺(jué)傳感器的聯(lián)合標(biāo)定方法，使用類似條形碼的方法來(lái)自動(dòng)識(shí)別激光雷達(dá)的特征點(diǎn)，并添加了相機(jī)驗(yàn)證機(jī)制，以減輕標(biāo)定過(guò)程中相機(jī)識(shí)別不穩(wěn)定導(dǎo)致的錯(cuò)誤。

三維標(biāo)定板

三維標(biāo)定板的目的是更好地幫助激光雷達(dá)找到特征點(diǎn)，從而更好地匹配特征點(diǎn)。當(dāng)背景不純凈時(shí)，上一節(jié)中提到的中空平板可能會(huì)導(dǎo)致像素混合，周世輝等人［10］分析了平面空心標(biāo)定板產(chǎn)生的混合像素誤差，設(shè)計(jì)了一種特殊的網(wǎng)格狀標(biāo)定板，并基于特征點(diǎn)匹配方法實(shí)現(xiàn)了工業(yè)相機(jī)和激光雷達(dá)的高精度聯(lián)合校準(zhǔn)，以實(shí)現(xiàn)像素級(jí)圖像融合效果。蔡懷宇等人［11］ 設(shè)計(jì)了具有梯度深度信息、平面角度信息和位置信息的標(biāo)定板（BWDC）。該方法不僅從一維提取特征，而且有效地利用了激光雷達(dá)提取三維信息的能力。然而，這對(duì)標(biāo)定板的設(shè)計(jì)和制造精度提出了很高的要求，增加了成本和誤差。如圖10所示。

Pusztai等人［12］使用具有三個(gè)垂直邊的長(zhǎng)方體作為標(biāo)定對(duì)象，通過(guò)提取長(zhǎng)方體的邊緣來(lái)估計(jì)長(zhǎng)方體的3D頂點(diǎn)，并將其與從圖像中提取的2D頂點(diǎn)進(jìn)行匹配，這種方法是通用的，因?yàn)樗梢杂糜谄胀ǖ暮凶印ｎ愃频兀琗iaojin Gong等人［13］提出了基于任意三面體的3D激光雷達(dá)相機(jī)的外部標(biāo)定。由于用于標(biāo)定的三面體目標(biāo)可以是正交或非正交的，這通常出現(xiàn)在結(jié)構(gòu)化環(huán)境中，因此它具有廣泛的應(yīng)用。

2）Targetless Calibration

無(wú)目標(biāo)標(biāo)定不需要人工標(biāo)定目標(biāo)，在線標(biāo)定更方便，但精度低，魯棒性差。例如，當(dāng)遇到需要在線標(biāo)定的情況時(shí)，固定傳感器的相對(duì)位置會(huì)因機(jī)械振動(dòng)而改變，其標(biāo)定參數(shù)也會(huì)隨著時(shí)間而變得不準(zhǔn)確。由于大多數(shù)融合方法對(duì)標(biāo)定誤差極為敏感，其性能和可靠性受到嚴(yán)重?fù)p害。此外，大多數(shù)標(biāo)定過(guò)程需要從頭開始，因此手動(dòng)連續(xù)更新校準(zhǔn)參數(shù)既麻煩又不切實(shí)際，為了擺脫標(biāo)定板的限制，并通過(guò)自然場(chǎng)景實(shí)現(xiàn)在線標(biāo)定，研究人員進(jìn)行了大量研究！

其中一些方法使用RGB紋理和激光雷達(dá)反射率之間的相關(guān)性，一些方法提取圖像和激光點(diǎn)云中的邊緣［17］或線特征［18］進(jìn)行相關(guān)性測(cè)量。Castorena等人［19］使用深度和強(qiáng)度邊緣的自然對(duì)齊結(jié)合高斯混合模型進(jìn)行標(biāo)定，并獲得了一種自動(dòng)、無(wú)目標(biāo)、完全數(shù)據(jù)驅(qū)動(dòng)的全局匹配優(yōu)化方法。這些方法需要相對(duì)精確的初始參數(shù)，否則很容易陷入局部極值，因此，用于自識(shí)別場(chǎng)景的無(wú)目標(biāo)標(biāo)定方法通常用于微調(diào)外部參數(shù)。還有一些基于里程計(jì)的軌跡配準(zhǔn)［20］，時(shí)間序列視覺(jué)幀的密集點(diǎn)云和激光點(diǎn)云的配準(zhǔn)［21］，甚至還有基于深度學(xué)習(xí)的方法［22］、［23］。這些方法不僅高度依賴于環(huán)境，還受到視覺(jué)或激光里程計(jì)精度的影響，目前的技術(shù)精度低，不具有普遍性，需要進(jìn)一步研究和開發(fā)。

3）標(biāo)定方程建立

在相機(jī)傳感器獲取過(guò)程中，為了確定空間物體表面上的點(diǎn)的三維幾何位置與其在圖像中的對(duì)應(yīng)點(diǎn)之間的關(guān)系，必須建立相機(jī)成像的幾何模型。

（1） 三維坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到激光雷達(dá)坐標(biāo)系的轉(zhuǎn)換，公式如下：

（2） 二維坐標(biāo)轉(zhuǎn)換：從像素坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（3） 基于針孔成像原理的坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（4） 合并轉(zhuǎn)換：激光雷達(dá)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換如圖11所示進(jìn)行組合和推導(dǎo)，公式如下：

參數(shù)求解1）相機(jī)內(nèi)參

為了簡(jiǎn)化計(jì)算，假設(shè)了一個(gè)線性理想針孔相機(jī)，如圖12中的a所示。但實(shí)際由于相機(jī)鏡頭精度和裝配過(guò)程的偏差，相機(jī)成像不可避免地引入了失真。真實(shí)圖片和兩個(gè)常見(jiàn)相機(jī)圖片的失真如圖13所示，導(dǎo)致圖像失真，如圖12中的b所示。

內(nèi)部參數(shù)是視覺(jué)測(cè)量的重要校準(zhǔn)參數(shù)之一，它反映了計(jì)算機(jī)圖像坐標(biāo)中空間點(diǎn)與成像點(diǎn)之間的精確對(duì)應(yīng)關(guān)系，如圖14所示。

傳統(tǒng)的攝像機(jī)校準(zhǔn)方法。傳統(tǒng)的相機(jī)標(biāo)定方法使用具有已知結(jié)構(gòu)和高精度的標(biāo)定目標(biāo)或三維標(biāo)定場(chǎng)作為空間參考對(duì)象。在建立世界坐標(biāo)系之后，獲得每個(gè)特征點(diǎn)的空間坐標(biāo)，根據(jù)空間點(diǎn)和圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系，建立了相機(jī)內(nèi)部參數(shù)的約束條件。最后，通過(guò)優(yōu)化算法獲得內(nèi)部參數(shù)，在相機(jī)內(nèi)部參數(shù)的計(jì)算中，使用最廣泛的方法是張正友方法［24］。受張正友方法的啟發(fā)，許多開源庫(kù)函數(shù)，如OpenCV、ROS、matlab和一些工具箱［25］［26］都使用這種方法進(jìn)行開發(fā)和標(biāo)定！相機(jī)自標(biāo)定方法。相機(jī)自標(biāo)定方法是指使用包含由相機(jī)捕獲的重疊場(chǎng)景的一組圖像來(lái)建立對(duì)應(yīng)關(guān)系的過(guò)程，在不依賴于標(biāo)定參考對(duì)象的情況下完成幾何校準(zhǔn)。由于只使用其自身的約束，因此它與攝影機(jī)和周圍環(huán)境之間的相對(duì)運(yùn)動(dòng)狀態(tài)無(wú)關(guān)，它具有更高的靈活性，適用于因條件惡劣而無(wú)法使用校準(zhǔn)目標(biāo)的情況。使用絕對(duì)二次曲線和極線變換的特性來(lái)求解Kruppa方程的相機(jī)自校準(zhǔn)方法［27］、［28］、［29］。這種直接求解Kruppa方程的方法在求解過(guò)程中優(yōu)化參數(shù)過(guò)多，容易陷入局部最優(yōu)。當(dāng)圖像噪聲較大時(shí)，校準(zhǔn)精度會(huì)降低，魯棒性會(huì)變差，用分層逐步標(biāo)定方法代替。它使用投影校準(zhǔn)作為基礎(chǔ)，選擇某一圖片作為標(biāo)準(zhǔn)，并執(zhí)行投影對(duì)準(zhǔn)，從而減少未知數(shù)。然后使用非線性優(yōu)化算法來(lái)解決所有未知問(wèn)題［30］。另一個(gè)分支是基于主動(dòng)視覺(jué)的相機(jī)自標(biāo)定技術(shù)，主動(dòng)視覺(jué)系統(tǒng)是指將攝像機(jī)精確安裝在可控平臺(tái)上。主動(dòng)控制相機(jī)按照指定的運(yùn)動(dòng)軌跡完成照片拍攝，最后使用相機(jī)運(yùn)動(dòng)參數(shù)確定內(nèi)部參數(shù)［31］、［32］，它的缺點(diǎn)是對(duì)實(shí)驗(yàn)設(shè)備的要求更高，對(duì)模型參數(shù)的限制更大，并且抗噪聲能力較差。基于消失點(diǎn)標(biāo)定的方法。20世紀(jì)90年代以來(lái)，國(guó)內(nèi)外大量學(xué)者開始研究基于消失點(diǎn)標(biāo)定的方法。幾何上，世界直線的消失點(diǎn)是通過(guò)平行于直線并穿過(guò)相機(jī)中心和圖像平面的光線的交點(diǎn)獲得的，因此，消失點(diǎn)僅取決于直線的方向，與其特定位置無(wú)關(guān)［33］、［34］、［35］。消失點(diǎn)標(biāo)定方法不需要對(duì)象控制點(diǎn)，而是使用相機(jī)自身參數(shù)之間的約束關(guān)系來(lái)建立模型。這大大提高了標(biāo)定的靈活性，實(shí)現(xiàn)了實(shí)時(shí)在線標(biāo)定，并具有廣泛的應(yīng)用。其缺點(diǎn)是魯棒性差和精度低，因?yàn)樵诖蠖鄶?shù)基于消失點(diǎn)標(biāo)定的方法中，相機(jī)中的方位角元素是通過(guò)單個(gè)圖像的消失點(diǎn)來(lái)校準(zhǔn)的，而傳統(tǒng)的消失點(diǎn)標(biāo)定算法需要三組場(chǎng)景中相互正交的平行線。然而，由于噪聲等因素的影響，它在實(shí)際應(yīng)用中常常受到限制。相機(jī)的內(nèi)部參數(shù)和失真參數(shù)是相機(jī)的固有參數(shù)，出廠后通常是固定的。因此，許多制造商現(xiàn)在直接提供相機(jī)的內(nèi)部出廠時(shí)的參數(shù)。同時(shí)，隨著相機(jī)設(shè)計(jì)的內(nèi)部?jī)?yōu)化，其失真控制越來(lái)越好。這也是內(nèi)部參數(shù)標(biāo)定算法研究和更新緩慢的原因！

2）外參求解

從數(shù)據(jù)選擇方法來(lái)看，可分為手動(dòng)標(biāo)定解決方案和自動(dòng)標(biāo)定解決方案。手動(dòng)標(biāo)定是早期開發(fā)和使用的第一種標(biāo)定方法，它以其簡(jiǎn)單有效的操作和高精度而深受標(biāo)定人員的喜愛(ài)。然而，隨著科學(xué)技術(shù)的發(fā)展，圖像和點(diǎn)云中的數(shù)據(jù)量巨大，導(dǎo)致勞動(dòng)力成本急劇增加。單一的手動(dòng)標(biāo)定已不能滿足人們對(duì)速度、自動(dòng)化和魯棒性的需求，自動(dòng)標(biāo)定已應(yīng)運(yùn)而生，如圖15所示，激光雷達(dá)中相機(jī)的外部參數(shù)根據(jù)不同的原理進(jìn)行標(biāo)定！

手動(dòng)外部參數(shù)標(biāo)定

對(duì)于相機(jī)激光雷達(dá)外部參數(shù)標(biāo)定，校準(zhǔn)對(duì)象可以提供準(zhǔn)確的幾何尺寸信息，手動(dòng)操作可以提供準(zhǔn)確匹配信息。最常用的方法是使用棋盤來(lái)確定一系列用于校準(zhǔn)的3D點(diǎn)對(duì)。例如，Dhall［36］等人手動(dòng)選擇3D點(diǎn)并使用最小二乘法解決問(wèn)題，Scaramuzza［37］等人提出了一種快速標(biāo)定方法，該方法不依賴于標(biāo)定對(duì)象，而是基于點(diǎn)特征。作者從相機(jī)圖像和激光雷達(dá)點(diǎn)云中手動(dòng)選擇一系列具有不連續(xù)深度的對(duì)應(yīng)點(diǎn)來(lái)解決問(wèn)題。手動(dòng)camera-激光雷達(dá)有多種標(biāo)定方法。不同的方法在不同的具體應(yīng)用場(chǎng)景中達(dá)到了高精度，對(duì)于需要實(shí)時(shí)在線標(biāo)定的系統(tǒng)，手動(dòng)標(biāo)定的主要問(wèn)題是過(guò)度依賴人工操作，以及特殊的標(biāo)定對(duì)象，這嚴(yán)重降低了自主性和智能性。

自動(dòng)外部參數(shù)標(biāo)定

隨著智能應(yīng)用的迫切需求，近十年來(lái)誕生了大量相機(jī)激光雷達(dá)外部參數(shù)的自動(dòng)標(biāo)定方法。這些方法分為基于特征匹配的方法、基于互信息的方法，基于運(yùn)動(dòng)的方法和基于深度學(xué)習(xí)的方法。

a） 基于特征匹配的標(biāo)定方法

基于特征匹配的方法通過(guò)選擇特征點(diǎn)并基于標(biāo)定板獲得上述兩個(gè)系統(tǒng)中特征點(diǎn)的坐標(biāo)，根據(jù)特征匹配，直接獲得激光雷達(dá)坐標(biāo)系與相機(jī)像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，然后通過(guò)求解標(biāo)定矩陣轉(zhuǎn)換方程或使用監(jiān)督學(xué)習(xí)等方法來(lái)計(jì)算轉(zhuǎn)換矩陣以及內(nèi)部和外部參數(shù)，目前基于激光雷達(dá)點(diǎn)云邊緣提取的特征匹配方法主要分為間接法和直接法兩種。

間接法：大多數(shù)方法將激光雷達(dá)點(diǎn)轉(zhuǎn)換為圖像，然后執(zhí)行邊緣提取。Wang等人［39］使用Canny算法提取圖像的邊緣，并使用邊界檢測(cè)器從3D激光雷達(dá)點(diǎn)云生成距離圖像，建立點(diǎn)云數(shù)據(jù)和距離圖像之間的對(duì)應(yīng)關(guān)系。通過(guò)像素對(duì)應(yīng)合并2D圖像和3D點(diǎn)云數(shù)據(jù)，以獲得具有3D信息的邊緣圖像。通常，相機(jī)的分辨率和點(diǎn)云是不同的，這種方法可能會(huì)引入一些錯(cuò)誤。

直接法：在圖像中，灰度值突然變化的地方形成了圖像的邊緣，這種變化稱為圖像梯度。基于圖像邊緣的特征，Xia等人［40］提出了3D點(diǎn)云梯度的概念，然后基于用于快速邊緣提取的激光雷達(dá)點(diǎn)云。該擬合方法可以提取更多的邊緣特征，具有較高的精度，并且對(duì)點(diǎn)的密度不敏感。

b） 基于互信息的標(biāo)定方法

基于互信息的方法的主要思想是在相機(jī)圖像和激光雷達(dá)點(diǎn)云中找到相關(guān)變量。通過(guò)計(jì)算相機(jī)圖像的灰度值與相關(guān)變量（例如激光雷達(dá)的反射率或激光雷達(dá)反射的角度）之間的相互信息，然后最大化互信息以優(yōu)化校準(zhǔn)外部參數(shù)。Pandney等人［41］認(rèn)為，激光雷達(dá)點(diǎn)云的反射率與相機(jī)圖像的灰度值之間存在很強(qiáng)的相關(guān)性，通過(guò)核密度估計(jì)方法計(jì)算反射率和灰度值的概率。最后，通過(guò)Barzilai-Borwein最速下降法計(jì)算互信息并優(yōu)化外部參數(shù)。Taylor等人［42］認(rèn)為，與相機(jī)圖像點(diǎn)對(duì)應(yīng)的3D點(diǎn)的法線與相機(jī)之間的角度將影響反射強(qiáng)度，通過(guò)計(jì)算激光雷達(dá)點(diǎn)云的反射率和對(duì)應(yīng)于相機(jī)圖像點(diǎn)的上述角度之間的相互信息來(lái)執(zhí)行校準(zhǔn)。可以看出，當(dāng)兩個(gè)傳感器執(zhí)行緊密的數(shù)據(jù)融合時(shí)，兩個(gè)傳感器之間的精確外部參數(shù)尤為重要。由于激光雷達(dá)點(diǎn)云的稀疏性，無(wú)法直接提取散射在校準(zhǔn)板角落的激光雷達(dá)點(diǎn)，這將帶來(lái)更大的誤差，也將導(dǎo)致精確的拐角計(jì)算。因此，基于直接提取的反射強(qiáng)度特征點(diǎn)的激光雷達(dá)相機(jī)外部標(biāo)定方法可以有效地補(bǔ)償這一問(wèn)題。然而，基于互信息的方法的效果與傳感器所在環(huán)境中目標(biāo)物體的材料和反射率有關(guān)，并且容易受到諸如光照條件和天氣變化等因素的干擾。

c） 基于運(yùn)動(dòng)的標(biāo)定方法

基于運(yùn)動(dòng)的方法通常從連續(xù)運(yùn)動(dòng)數(shù)據(jù)或多視圖數(shù)據(jù)中求解外部參數(shù)。首先，分別計(jì)算相機(jī)和激光雷達(dá)的運(yùn)動(dòng)，然后通過(guò)手眼標(biāo)定來(lái)解決相機(jī)和激光雷達(dá)的直接外部參數(shù)。Taylor［43］等人提出了一套標(biāo)定方法，可應(yīng)用于由激光雷達(dá)、相機(jī)和導(dǎo)航傳感器組成的任何系統(tǒng)。作者首先登記每個(gè)傳感器的連續(xù)幀，然后使用連接以校準(zhǔn)外部參數(shù)。Ishikawa［44］等人使用KLT跟蹤器跟蹤激光雷達(dá)在圖像平面上的投影點(diǎn)，并通過(guò)投影誤差不斷優(yōu)化缺少3D比例的平移向量，取得了比泰勒更準(zhǔn)確的結(jié)果。趙［45］使用相機(jī)的前后幀圖像重建城市場(chǎng)景3D并計(jì)算姿態(tài)變化，并計(jì)算激光雷達(dá)點(diǎn)云的前后幀ICP，以獲得點(diǎn)云的空間變化。同時(shí)，有許多研究通過(guò)關(guān)鍵幀和運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)等技術(shù)實(shí)現(xiàn)了無(wú)人機(jī)和激光雷達(dá)點(diǎn)云上的圖像配準(zhǔn)。例如，Nedevschi等人［46］使用特征匹配來(lái)檢測(cè)車輛行駛過(guò)程中傳感器的偏移。該方法通過(guò)對(duì)圖像執(zhí)行距離變換來(lái)找到圖像中的邊緣，同時(shí)，將激光雷達(dá)點(diǎn)云轉(zhuǎn)換為距離圖像。根據(jù)邊緣信息建立目標(biāo)函數(shù)。該方法可以消除車輛運(yùn)動(dòng)過(guò)程中產(chǎn)生的漂移，并自動(dòng)調(diào)整外部參數(shù)。

可以看出，基于運(yùn)動(dòng)的方法適合于求解標(biāo)定參數(shù)和大規(guī)模場(chǎng)景的初始值。但是基于運(yùn)動(dòng)的方法的主要缺點(diǎn)是單眼相機(jī)的運(yùn)動(dòng)缺乏3D尺度信息，而且在姿態(tài)估計(jì)和數(shù)據(jù)本身之間存在很大的誤差，準(zhǔn)確度需要突破。由于可以通過(guò)立體視覺(jué)恢復(fù)比例問(wèn)題，因此大大簡(jiǎn)化了標(biāo)定問(wèn)題，因此，這種方法更適用于立體攝像機(jī)。

d） 基于深度學(xué)習(xí)的校準(zhǔn)方法

隨著近年來(lái)深度學(xué)習(xí)的快速發(fā)展。自動(dòng)駕駛中的各種感知任務(wù)可以通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)并表現(xiàn)良好，激光雷達(dá)和攝像頭的外部參數(shù)標(biāo)定也可以通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。Schneider［47］等人提出了第一種將深度學(xué)習(xí)應(yīng)用于標(biāo)定問(wèn)題的方法，通過(guò)RegNet神經(jīng)網(wǎng)絡(luò)分別提取相機(jī)圖像和激光雷達(dá)點(diǎn)云，然后進(jìn)行回歸。Ganesh Iyer［48］和其他人設(shè)計(jì)了一個(gè)幾何監(jiān)督的深度網(wǎng)絡(luò)，可以實(shí)時(shí)自動(dòng)估計(jì)3D LiDAR和2D相機(jī)之間的6-DoF剛體變換。其中，CalibNet減少了對(duì)校準(zhǔn)目標(biāo)的需求，從而大大節(jié)省了校準(zhǔn)工作。最近，Kaiwen Yuan等人［49］提出了一種基于RGGNet的激光雷達(dá)相機(jī)標(biāo)定方法。該方法考慮黎曼幾何，并使用深度生成模型學(xué)習(xí)隱式公差模型。該方法既考慮了標(biāo)定誤差，又考慮了誤差范圍內(nèi)的公差，取得了較好的標(biāo)定效果。對(duì)于深度神經(jīng)網(wǎng)絡(luò)，不需要預(yù)先提取圖像和激光雷達(dá)點(diǎn)云的特征來(lái)建立兩個(gè)數(shù)據(jù)的映射和連接。相反，它直接交給神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)，以找到潛在的關(guān)系。對(duì)于標(biāo)定問(wèn)題，監(jiān)督學(xué)習(xí)顯然是不夠的。很難直接獲得外部參數(shù)的真實(shí)值，并且很難提供可靠且可觀的訓(xùn)練集。因此，無(wú)監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)更適合于外部參數(shù)標(biāo)定問(wèn)題。然而，現(xiàn)有算法對(duì)使用條件要求更高，大量的訓(xùn)練是巨大的計(jì)算量，而泛化能力亟待提高。

審核編輯：郭婷

現(xiàn)階段，大多數(shù)無(wú)人平臺(tái)采用“激光雷達(dá)+視覺(jué)攝像頭”解決方案，以實(shí)現(xiàn)完整的環(huán)境感知。其中，激光雷達(dá)在目標(biāo)表面獲得高精度、離散的三維點(diǎn)云數(shù)據(jù)，受環(huán)境影響較小，具有良好的魯棒性；視覺(jué)攝像機(jī)可以獲得高分辨率、高質(zhì)量的二維視覺(jué)信息，在環(huán)境感知和目標(biāo)檢測(cè)方面具有很大的優(yōu)勢(shì)。由于相機(jī)和激光雷達(dá)的信息具有高度互補(bǔ)性，融合兩者不僅可以克服單一傳感器在環(huán)境感知方面的缺點(diǎn)，還可以獲得更豐富的目標(biāo)觀測(cè)數(shù)據(jù)，提高其環(huán)境感知的準(zhǔn)確性，如圖2和表I所示。

由于激光雷達(dá)數(shù)據(jù)點(diǎn)稀疏，視覺(jué)相機(jī)分辨率高，激光雷達(dá)和視覺(jué)相機(jī)的聯(lián)合校準(zhǔn)是實(shí)現(xiàn)兩者融合的基礎(chǔ)環(huán)節(jié)。為了響應(yīng)激光雷達(dá)和視覺(jué)相機(jī)的聯(lián)合校準(zhǔn)，已經(jīng)提出了各種標(biāo)定方法。然而，這些方法大多是根據(jù)實(shí)際需要進(jìn)行的，因此沒(méi)有系統(tǒng)的解決方案，并且缺乏開源校準(zhǔn)數(shù)據(jù)集，各種方法也不統(tǒng)一，很難為研究人員提供明確的參考。在此基礎(chǔ)上，本文總結(jié)了近年來(lái)激光雷達(dá)與單相機(jī)聯(lián)合標(biāo)定的先進(jìn)標(biāo)定方法。本文將重點(diǎn)討論聯(lián)合標(biāo)定系統(tǒng)構(gòu)建、標(biāo)定板設(shè)計(jì)、標(biāo)定參數(shù)求解等基本問(wèn)題，如圖3和圖4所示。

標(biāo)定系統(tǒng)的構(gòu)建

一個(gè)典型的標(biāo)定系統(tǒng)可以分為以下步驟：首先根據(jù)要求選擇激光雷達(dá)、視覺(jué)相機(jī)和標(biāo)定板，然后根據(jù)一定的方法建立標(biāo)定目標(biāo)在不同坐標(biāo)系中的轉(zhuǎn)換關(guān)系，最后求解轉(zhuǎn)換矩陣。其中，標(biāo)定板的選擇、坐標(biāo)系轉(zhuǎn)換關(guān)系的建立、標(biāo)定方程的求解是關(guān)鍵環(huán)節(jié)。

圖5顯示了基于標(biāo)定板的激光雷達(dá)和相機(jī)聯(lián)合標(biāo)定所涉及的四個(gè)主要坐標(biāo)系！像素坐標(biāo)系(u,v)，相機(jī)坐標(biāo)系，圖像平面坐標(biāo)系(x,y)，激光雷達(dá)坐標(biāo)系。
相機(jī)和激光雷達(dá)的聯(lián)合標(biāo)定通常包括兩部分：內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定。內(nèi)部參數(shù)標(biāo)定主要解決攝像機(jī)CCD傳感器本身畸變和安裝的影響；外部參數(shù)標(biāo)定主要用于建立兩個(gè)傳感器之間的坐標(biāo)轉(zhuǎn)換方程。如圖6所示，這是相機(jī)和激光雷達(dá)聯(lián)合校準(zhǔn)的流程圖！

標(biāo)定板的選擇根據(jù)標(biāo)定對(duì)象和提取的特征點(diǎn)而不同，標(biāo)定可以通過(guò)兩種方式進(jìn)行：基于目標(biāo)的標(biāo)定或無(wú)目標(biāo)標(biāo)定。基于目標(biāo)的標(biāo)定通常使用特定的標(biāo)定板以便于算法提取特定的特征點(diǎn)，而無(wú)目標(biāo)標(biāo)定方法通常直接使用環(huán)境中的材料或結(jié)構(gòu)特征來(lái)提取和匹配以實(shí)現(xiàn)標(biāo)定，以增加標(biāo)定的范圍和便利，如圖7所示。

1）Target-based Calibration

基于目標(biāo)標(biāo)定的特點(diǎn)是在標(biāo)定過(guò)程中使用特定形式的標(biāo)定板。這樣，特征點(diǎn)易于捕獲，所需算法簡(jiǎn)單，計(jì)算能力小。但缺點(diǎn)也很明顯：一是必須在使用傳感器之前對(duì)其進(jìn)行標(biāo)定，而且不能進(jìn)行實(shí)時(shí)標(biāo)定。另一個(gè)是二維平面板（如棋盤）需要獲得清晰的對(duì)應(yīng)關(guān)系，這不僅使得最終的標(biāo)定精度嚴(yán)重依賴于3D和2D特征點(diǎn)，還需要人工干預(yù)！

二維標(biāo)定板

二維標(biāo)定板通常取決于特定的標(biāo)定目標(biāo)，最常用的是棋盤。張[1]首先提出了一種棋盤標(biāo)定板，通過(guò)具有多個(gè)姿態(tài)的棋盤來(lái)估計(jì)二維激光雷達(dá)和相機(jī)之間的參數(shù)。Ranjith Unnikrishnan等人[2]基于Zhang提出的相機(jī)和2D激光雷達(dá)的標(biāo)定方法，提出了3D激光雷達(dá)和相機(jī)外部參數(shù)的標(biāo)定方法，如圖8所示。

然而，由于激光雷達(dá)的縱向光束之間的距離大且采集分辨率低，很難通過(guò)邊緣提取來(lái)保證精確頂點(diǎn)的精度。Lyu[3]手動(dòng)調(diào)整棋盤在激光點(diǎn)云中的位置，以便掃描線可以掃描到棋盤的頂點(diǎn)，但這將增加標(biāo)定過(guò)程的時(shí)間和復(fù)雜性。
同樣為了解決點(diǎn)云邊緣擬合不準(zhǔn)確的問(wèn)題，康國(guó)華等人[4]使用點(diǎn)云中心的粗配準(zhǔn)來(lái)實(shí)現(xiàn)點(diǎn)云的整體精細(xì)配準(zhǔn)。從另一個(gè)角度來(lái)看，除了輸出三維點(diǎn)云的坐標(biāo)信息，激光雷達(dá)還可以帶回反射強(qiáng)度信息。[5] 對(duì)不同材料的激光雷達(dá)反射強(qiáng)度設(shè)置閾值，以獲得激光雷達(dá)點(diǎn)云，并在此基礎(chǔ)上設(shè)計(jì)了一種新的標(biāo)定板。
ArUco標(biāo)記是一種特殊的編碼模式，便于檢測(cè)和糾正標(biāo)簽本身的錯(cuò)誤。霍爾等人提出了一種用于由多個(gè)單元組成的實(shí)驗(yàn)裝置的校準(zhǔn)板。方法[6]使用ArUco標(biāo)記計(jì)算相機(jī)坐標(biāo)系中標(biāo)定板的角點(diǎn)，激光雷達(dá)點(diǎn)提取擬合的邊緣線，然后可以計(jì)算激光雷達(dá)相機(jī)的外部參數(shù)。在實(shí)際應(yīng)用中，這種方法與棋盤中的激光雷達(dá)一樣，包括不穩(wěn)定的邊緣提取和線擬合算法，這將給校準(zhǔn)帶來(lái)很大的誤差。此外，由于需要多個(gè)標(biāo)定板，該方法更加復(fù)雜。為了增加激光雷達(dá)點(diǎn)云的可提取特征，出現(xiàn)了一個(gè)空心標(biāo)定板。Dong等人[7]和Zhung等人[8]的工作有些相似，他們?cè)诤诎灼灞P的中心構(gòu)造了一個(gè)空心圓孔，并將圓孔的中心校準(zhǔn)為特征點(diǎn)。然而，由于激光雷達(dá)點(diǎn)云沒(méi)有明顯的特征，因此只能從整個(gè)圓孔點(diǎn)云近似計(jì)算中心的坐標(biāo)，如圖9所示。

最近，黃強(qiáng)等人[9]提出了一種基于可重構(gòu)標(biāo)定板的激光雷達(dá)和視覺(jué)傳感器的聯(lián)合標(biāo)定方法，使用類似條形碼的方法來(lái)自動(dòng)識(shí)別激光雷達(dá)的特征點(diǎn)，并添加了相機(jī)驗(yàn)證機(jī)制，以減輕標(biāo)定過(guò)程中相機(jī)識(shí)別不穩(wěn)定導(dǎo)致的錯(cuò)誤。

三維標(biāo)定板

三維標(biāo)定板的目的是更好地幫助激光雷達(dá)找到特征點(diǎn)，從而更好地匹配特征點(diǎn)。當(dāng)背景不純凈時(shí)，上一節(jié)中提到的中空平板可能會(huì)導(dǎo)致像素混合，周世輝等人[10]分析了平面空心標(biāo)定板產(chǎn)生的混合像素誤差，設(shè)計(jì)了一種特殊的網(wǎng)格狀標(biāo)定板，并基于特征點(diǎn)匹配方法實(shí)現(xiàn)了工業(yè)相機(jī)和激光雷達(dá)的高精度聯(lián)合校準(zhǔn)，以實(shí)現(xiàn)像素級(jí)圖像融合效果。蔡懷宇等人[11] 設(shè)計(jì)了具有梯度深度信息、平面角度信息和位置信息的標(biāo)定板（BWDC）。該方法不僅從一維提取特征，而且有效地利用了激光雷達(dá)提取三維信息的能力。然而，這對(duì)標(biāo)定板的設(shè)計(jì)和制造精度提出了很高的要求，增加了成本和誤差。如圖10所示。

Pusztai等人[12]使用具有三個(gè)垂直邊的長(zhǎng)方體作為標(biāo)定對(duì)象，通過(guò)提取長(zhǎng)方體的邊緣來(lái)估計(jì)長(zhǎng)方體的3D頂點(diǎn)，并將其與從圖像中提取的2D頂點(diǎn)進(jìn)行匹配，這種方法是通用的，因?yàn)樗梢杂糜谄胀ǖ暮凶印ｎ愃频兀琗iaojin Gong等人[13]提出了基于任意三面體的3D激光雷達(dá)相機(jī)的外部標(biāo)定。由于用于標(biāo)定的三面體目標(biāo)可以是正交或非正交的，這通常出現(xiàn)在結(jié)構(gòu)化環(huán)境中，因此它具有廣泛的應(yīng)用。

2）Targetless Calibration

無(wú)目標(biāo)標(biāo)定不需要人工標(biāo)定目標(biāo)，在線標(biāo)定更方便，但精度低，魯棒性差。例如，當(dāng)遇到需要在線標(biāo)定的情況時(shí)，固定傳感器的相對(duì)位置會(huì)因機(jī)械振動(dòng)而改變，其標(biāo)定參數(shù)也會(huì)隨著時(shí)間而變得不準(zhǔn)確。由于大多數(shù)融合方法對(duì)標(biāo)定誤差極為敏感，其性能和可靠性受到嚴(yán)重?fù)p害。此外，大多數(shù)標(biāo)定過(guò)程需要從頭開始，因此手動(dòng)連續(xù)更新校準(zhǔn)參數(shù)既麻煩又不切實(shí)際，為了擺脫標(biāo)定板的限制，并通過(guò)自然場(chǎng)景實(shí)現(xiàn)在線標(biāo)定，研究人員進(jìn)行了大量研究！
其中一些方法使用RGB紋理和激光雷達(dá)反射率之間的相關(guān)性，一些方法提取圖像和激光點(diǎn)云中的邊緣[17]或線特征[18]進(jìn)行相關(guān)性測(cè)量。Castorena等人[19]使用深度和強(qiáng)度邊緣的自然對(duì)齊結(jié)合高斯混合模型進(jìn)行標(biāo)定，并獲得了一種自動(dòng)、無(wú)目標(biāo)、完全數(shù)據(jù)驅(qū)動(dòng)的全局匹配優(yōu)化方法。這些方法需要相對(duì)精確的初始參數(shù)，否則很容易陷入局部極值，因此，用于自識(shí)別場(chǎng)景的無(wú)目標(biāo)標(biāo)定方法通常用于微調(diào)外部參數(shù)。還有一些基于里程計(jì)的軌跡配準(zhǔn)[20]，時(shí)間序列視覺(jué)幀的密集點(diǎn)云和激光點(diǎn)云的配準(zhǔn)[21]，甚至還有基于深度學(xué)習(xí)的方法[22]、[23]。這些方法不僅高度依賴于環(huán)境，還受到視覺(jué)或激光里程計(jì)精度的影響，目前的技術(shù)精度低，不具有普遍性，需要進(jìn)一步研究和開發(fā)。

3）標(biāo)定方程建立

在相機(jī)傳感器獲取過(guò)程中，為了確定空間物體表面上的點(diǎn)的三維幾何位置與其在圖像中的對(duì)應(yīng)點(diǎn)之間的關(guān)系，必須建立相機(jī)成像的幾何模型。
（1） 三維坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到激光雷達(dá)坐標(biāo)系的轉(zhuǎn)換，公式如下：

（2） 二維坐標(biāo)轉(zhuǎn)換：從像素坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（3） 基于針孔成像原理的坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（4） 合并轉(zhuǎn)換：激光雷達(dá)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換如圖11所示進(jìn)行組合和推導(dǎo)，公式如下：

參數(shù)求解

1）相機(jī)內(nèi)參

為了簡(jiǎn)化計(jì)算，假設(shè)了一個(gè)線性理想針孔相機(jī)，如圖12中的a所示。但實(shí)際由于相機(jī)鏡頭精度和裝配過(guò)程的偏差，相機(jī)成像不可避免地引入了失真。真實(shí)圖片和兩個(gè)常見(jiàn)相機(jī)圖片的失真如圖13所示，導(dǎo)致圖像失真，如圖12中的b所示。

內(nèi)部參數(shù)是視覺(jué)測(cè)量的重要校準(zhǔn)參數(shù)之一，它反映了計(jì)算機(jī)圖像坐標(biāo)中空間點(diǎn)與成像點(diǎn)之間的精確對(duì)應(yīng)關(guān)系，如圖14所示。

傳統(tǒng)的攝像機(jī)校準(zhǔn)方法。傳統(tǒng)的相機(jī)標(biāo)定方法使用具有已知結(jié)構(gòu)和高精度的標(biāo)定目標(biāo)或三維標(biāo)定場(chǎng)作為空間參考對(duì)象。在建立世界坐標(biāo)系之后，獲得每個(gè)特征點(diǎn)的空間坐標(biāo)，根據(jù)空間點(diǎn)和圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系，建立了相機(jī)內(nèi)部參數(shù)的約束條件。最后，通過(guò)優(yōu)化算法獲得內(nèi)部參數(shù)，在相機(jī)內(nèi)部參數(shù)的計(jì)算中，使用最廣泛的方法是張正友方法[24]。受張正友方法的啟發(fā)，許多開源庫(kù)函數(shù)，如OpenCV、ROS、matlab和一些工具箱[25][26]都使用這種方法進(jìn)行開發(fā)和標(biāo)定！相機(jī)自標(biāo)定方法。相機(jī)自標(biāo)定方法是指使用包含由相機(jī)捕獲的重疊場(chǎng)景的一組圖像來(lái)建立對(duì)應(yīng)關(guān)系的過(guò)程，在不依賴于標(biāo)定參考對(duì)象的情況下完成幾何校準(zhǔn)。由于只使用其自身的約束，因此它與攝影機(jī)和周圍環(huán)境之間的相對(duì)運(yùn)動(dòng)狀態(tài)無(wú)關(guān)，它具有更高的靈活性，適用于因條件惡劣而無(wú)法使用校準(zhǔn)目標(biāo)的情況。使用絕對(duì)二次曲線和極線變換的特性來(lái)求解Kruppa方程的相機(jī)自校準(zhǔn)方法[27]、[28]、[29]。這種直接求解Kruppa方程的方法在求解過(guò)程中優(yōu)化參數(shù)過(guò)多，容易陷入局部最優(yōu)。當(dāng)圖像噪聲較大時(shí)，校準(zhǔn)精度會(huì)降低，魯棒性會(huì)變差，用分層逐步標(biāo)定方法代替。它使用投影校準(zhǔn)作為基礎(chǔ)，選擇某一圖片作為標(biāo)準(zhǔn)，并執(zhí)行投影對(duì)準(zhǔn)，從而減少未知數(shù)。然后使用非線性優(yōu)化算法來(lái)解決所有未知問(wèn)題[30]。另一個(gè)分支是基于主動(dòng)視覺(jué)的相機(jī)自標(biāo)定技術(shù)，主動(dòng)視覺(jué)系統(tǒng)是指將攝像機(jī)精確安裝在可控平臺(tái)上。主動(dòng)控制相機(jī)按照指定的運(yùn)動(dòng)軌跡完成照片拍攝，最后使用相機(jī)運(yùn)動(dòng)參數(shù)確定內(nèi)部參數(shù)[31]、[32]，它的缺點(diǎn)是對(duì)實(shí)驗(yàn)設(shè)備的要求更高，對(duì)模型參數(shù)的限制更大，并且抗噪聲能力較差。基于消失點(diǎn)標(biāo)定的方法。20世紀(jì)90年代以來(lái)，國(guó)內(nèi)外大量學(xué)者開始研究基于消失點(diǎn)標(biāo)定的方法。幾何上，世界直線的消失點(diǎn)是通過(guò)平行于直線并穿過(guò)相機(jī)中心和圖像平面的光線的交點(diǎn)獲得的，因此，消失點(diǎn)僅取決于直線的方向，與其特定位置無(wú)關(guān)[33]、[34]、[35]。消失點(diǎn)標(biāo)定方法不需要對(duì)象控制點(diǎn)，而是使用相機(jī)自身參數(shù)之間的約束關(guān)系來(lái)建立模型。這大大提高了標(biāo)定的靈活性，實(shí)現(xiàn)了實(shí)時(shí)在線標(biāo)定，并具有廣泛的應(yīng)用。其缺點(diǎn)是魯棒性差和精度低，因?yàn)樵诖蠖鄶?shù)基于消失點(diǎn)標(biāo)定的方法中，相機(jī)中的方位角元素是通過(guò)單個(gè)圖像的消失點(diǎn)來(lái)校準(zhǔn)的，而傳統(tǒng)的消失點(diǎn)標(biāo)定算法需要三組場(chǎng)景中相互正交的平行線。然而，由于噪聲等因素的影響，它在實(shí)際應(yīng)用中常常受到限制。相機(jī)的內(nèi)部參數(shù)和失真參數(shù)是相機(jī)的固有參數(shù)，出廠后通常是固定的。因此，許多制造商現(xiàn)在直接提供相機(jī)的內(nèi)部出廠時(shí)的參數(shù)。同時(shí)，隨著相機(jī)設(shè)計(jì)的內(nèi)部?jī)?yōu)化，其失真控制越來(lái)越好。這也是內(nèi)部參數(shù)標(biāo)定算法研究和更新緩慢的原因！

2）外參求解

從數(shù)據(jù)選擇方法來(lái)看，可分為手動(dòng)標(biāo)定解決方案和自動(dòng)標(biāo)定解決方案。手動(dòng)標(biāo)定是早期開發(fā)和使用的第一種標(biāo)定方法，它以其簡(jiǎn)單有效的操作和高精度而深受標(biāo)定人員的喜愛(ài)。然而，隨著科學(xué)技術(shù)的發(fā)展，圖像和點(diǎn)云中的數(shù)據(jù)量巨大，導(dǎo)致勞動(dòng)力成本急劇增加。單一的手動(dòng)標(biāo)定已不能滿足人們對(duì)速度、自動(dòng)化和魯棒性的需求，自動(dòng)標(biāo)定已應(yīng)運(yùn)而生，如圖15所示，激光雷達(dá)中相機(jī)的外部參數(shù)根據(jù)不同的原理進(jìn)行標(biāo)定！

手動(dòng)外部參數(shù)標(biāo)定

對(duì)于相機(jī)激光雷達(dá)外部參數(shù)標(biāo)定，校準(zhǔn)對(duì)象可以提供準(zhǔn)確的幾何尺寸信息，手動(dòng)操作可以提供準(zhǔn)確匹配信息。最常用的方法是使用棋盤來(lái)確定一系列用于校準(zhǔn)的3D點(diǎn)對(duì)。例如，Dhall[36]等人手動(dòng)選擇3D點(diǎn)并使用最小二乘法解決問(wèn)題，Scaramuzza[37]等人提出了一種快速標(biāo)定方法，該方法不依賴于標(biāo)定對(duì)象，而是基于點(diǎn)特征。作者從相機(jī)圖像和激光雷達(dá)點(diǎn)云中手動(dòng)選擇一系列具有不連續(xù)深度的對(duì)應(yīng)點(diǎn)來(lái)解決問(wèn)題。手動(dòng)camera-激光雷達(dá)有多種標(biāo)定方法。不同的方法在不同的具體應(yīng)用場(chǎng)景中達(dá)到了高精度，對(duì)于需要實(shí)時(shí)在線標(biāo)定的系統(tǒng)，手動(dòng)標(biāo)定的主要問(wèn)題是過(guò)度依賴人工操作，以及特殊的標(biāo)定對(duì)象，這嚴(yán)重降低了自主性和智能性。

自動(dòng)外部參數(shù)標(biāo)定

隨著智能應(yīng)用的迫切需求，近十年來(lái)誕生了大量相機(jī)激光雷達(dá)外部參數(shù)的自動(dòng)標(biāo)定方法。這些方法分為基于特征匹配的方法、基于互信息的方法，基于運(yùn)動(dòng)的方法和基于深度學(xué)習(xí)的方法。
a） 基于特征匹配的標(biāo)定方法
基于特征匹配的方法通過(guò)選擇特征點(diǎn)并基于標(biāo)定板獲得上述兩個(gè)系統(tǒng)中特征點(diǎn)的坐標(biāo)，根據(jù)特征匹配，直接獲得激光雷達(dá)坐標(biāo)系與相機(jī)像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，然后通過(guò)求解標(biāo)定矩陣轉(zhuǎn)換方程或使用監(jiān)督學(xué)習(xí)等方法來(lái)計(jì)算轉(zhuǎn)換矩陣以及內(nèi)部和外部參數(shù)，目前基于激光雷達(dá)點(diǎn)云邊緣提取的特征匹配方法主要分為間接法和直接法兩種。
間接法：大多數(shù)方法將激光雷達(dá)點(diǎn)轉(zhuǎn)換為圖像，然后執(zhí)行邊緣提取。Wang等人[39]使用Canny算法提取圖像的邊緣，并使用邊界檢測(cè)器從3D激光雷達(dá)點(diǎn)云生成距離圖像，建立點(diǎn)云數(shù)據(jù)和距離圖像之間的對(duì)應(yīng)關(guān)系。通過(guò)像素對(duì)應(yīng)合并2D圖像和3D點(diǎn)云數(shù)據(jù)，以獲得具有3D信息的邊緣圖像。通常，相機(jī)的分辨率和點(diǎn)云是不同的，這種方法可能會(huì)引入一些錯(cuò)誤。
直接法：在圖像中，灰度值突然變化的地方形成了圖像的邊緣，這種變化稱為圖像梯度。基于圖像邊緣的特征，Xia等人[40]提出了3D點(diǎn)云梯度的概念，然后基于用于快速邊緣提取的激光雷達(dá)點(diǎn)云。該擬合方法可以提取更多的邊緣特征，具有較高的精度，并且對(duì)點(diǎn)的密度不敏感。
b） 基于互信息的標(biāo)定方法
基于互信息的方法的主要思想是在相機(jī)圖像和激光雷達(dá)點(diǎn)云中找到相關(guān)變量。通過(guò)計(jì)算相機(jī)圖像的灰度值與相關(guān)變量（例如激光雷達(dá)的反射率或激光雷達(dá)反射的角度）之間的相互信息，然后最大化互信息以優(yōu)化校準(zhǔn)外部參數(shù)。Pandney等人[41]認(rèn)為，激光雷達(dá)點(diǎn)云的反射率與相機(jī)圖像的灰度值之間存在很強(qiáng)的相關(guān)性，通過(guò)核密度估計(jì)方法計(jì)算反射率和灰度值的概率。最后，通過(guò)Barzilai-Borwein最速下降法計(jì)算互信息并優(yōu)化外部參數(shù)。Taylor等人[42]認(rèn)為，與相機(jī)圖像點(diǎn)對(duì)應(yīng)的3D點(diǎn)的法線與相機(jī)之間的角度將影響反射強(qiáng)度，通過(guò)計(jì)算激光雷達(dá)點(diǎn)云的反射率和對(duì)應(yīng)于相機(jī)圖像點(diǎn)的上述角度之間的相互信息來(lái)執(zhí)行校準(zhǔn)。可以看出，當(dāng)兩個(gè)傳感器執(zhí)行緊密的數(shù)據(jù)融合時(shí)，兩個(gè)傳感器之間的精確外部參數(shù)尤為重要。由于激光雷達(dá)點(diǎn)云的稀疏性，無(wú)法直接提取散射在校準(zhǔn)板角落的激光雷達(dá)點(diǎn)，這將帶來(lái)更大的誤差，也將導(dǎo)致精確的拐角計(jì)算。因此，基于直接提取的反射強(qiáng)度特征點(diǎn)的激光雷達(dá)相機(jī)外部標(biāo)定方法可以有效地補(bǔ)償這一問(wèn)題。然而，基于互信息的方法的效果與傳感器所在環(huán)境中目標(biāo)物體的材料和反射率有關(guān)，并且容易受到諸如光照條件和天氣變化等因素的干擾。
c） 基于運(yùn)動(dòng)的標(biāo)定方法
基于運(yùn)動(dòng)的方法通常從連續(xù)運(yùn)動(dòng)數(shù)據(jù)或多視圖數(shù)據(jù)中求解外部參數(shù)。首先，分別計(jì)算相機(jī)和激光雷達(dá)的運(yùn)動(dòng)，然后通過(guò)手眼標(biāo)定來(lái)解決相機(jī)和激光雷達(dá)的直接外部參數(shù)。Taylor[43]等人提出了一套標(biāo)定方法，可應(yīng)用于由激光雷達(dá)、相機(jī)和導(dǎo)航傳感器組成的任何系統(tǒng)。作者首先登記每個(gè)傳感器的連續(xù)幀，然后使用連接以校準(zhǔn)外部參數(shù)。Ishikawa[44]等人使用KLT跟蹤器跟蹤激光雷達(dá)在圖像平面上的投影點(diǎn)，并通過(guò)投影誤差不斷優(yōu)化缺少3D比例的平移向量，取得了比泰勒更準(zhǔn)確的結(jié)果。趙[45]使用相機(jī)的前后幀圖像重建城市場(chǎng)景3D并計(jì)算姿態(tài)變化，并計(jì)算激光雷達(dá)點(diǎn)云的前后幀ICP，以獲得點(diǎn)云的空間變化。同時(shí)，有許多研究通過(guò)關(guān)鍵幀和運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)等技術(shù)實(shí)現(xiàn)了無(wú)人機(jī)和激光雷達(dá)點(diǎn)云上的圖像配準(zhǔn)。例如，Nedevschi等人[46]使用特征匹配來(lái)檢測(cè)車輛行駛過(guò)程中傳感器的偏移。該方法通過(guò)對(duì)圖像執(zhí)行距離變換來(lái)找到圖像中的邊緣，同時(shí)，將激光雷達(dá)點(diǎn)云轉(zhuǎn)換為距離圖像。根據(jù)邊緣信息建立目標(biāo)函數(shù)。該方法可以消除車輛運(yùn)動(dòng)過(guò)程中產(chǎn)生的漂移，并自動(dòng)調(diào)整外部參數(shù)。
可以看出，基于運(yùn)動(dòng)的方法適合于求解標(biāo)定參數(shù)和大規(guī)模場(chǎng)景的初始值。但是基于運(yùn)動(dòng)的方法的主要缺點(diǎn)是單眼相機(jī)的運(yùn)動(dòng)缺乏3D尺度信息，而且在姿態(tài)估計(jì)和數(shù)據(jù)本身之間存在很大的誤差，準(zhǔn)確度需要突破。由于可以通過(guò)立體視覺(jué)恢復(fù)比例問(wèn)題，因此大大簡(jiǎn)化了標(biāo)定問(wèn)題，因此，這種方法更適用于立體攝像機(jī)。
d） 基于深度學(xué)習(xí)的校準(zhǔn)方法
隨著近年來(lái)深度學(xué)習(xí)的快速發(fā)展。自動(dòng)駕駛中的各種感知任務(wù)可以通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)并表現(xiàn)良好，激光雷達(dá)和攝像頭的外部參數(shù)標(biāo)定也可以通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。Schneider[47]等人提出了第一種將深度學(xué)習(xí)應(yīng)用于標(biāo)定問(wèn)題的方法，通過(guò)RegNet神經(jīng)網(wǎng)絡(luò)分別提取相機(jī)圖像和激光雷達(dá)點(diǎn)云，然后進(jìn)行回歸。Ganesh Iyer[48]和其他人設(shè)計(jì)了一個(gè)幾何監(jiān)督的深度網(wǎng)絡(luò)，可以實(shí)時(shí)自動(dòng)估計(jì)3D LiDAR和2D相機(jī)之間的6-DoF剛體變換。其中，CalibNet減少了對(duì)校準(zhǔn)目標(biāo)的需求，從而大大節(jié)省了校準(zhǔn)工作。最近，Kaiwen Yuan等人[49]提出了一種基于RGGNet的激光雷達(dá)相機(jī)標(biāo)定方法。該方法考慮黎曼幾何，并使用深度生成模型學(xué)習(xí)隱式公差模型。該方法既考慮了標(biāo)定誤差，又考慮了誤差范圍內(nèi)的公差，取得了較好的標(biāo)定效果。對(duì)于深度神經(jīng)網(wǎng)絡(luò)，不需要預(yù)先提取圖像和激光雷達(dá)點(diǎn)云的特征來(lái)建立兩個(gè)數(shù)據(jù)的映射和連接。相反，它直接交給神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)，以找到潛在的關(guān)系。對(duì)于標(biāo)定問(wèn)題，監(jiān)督學(xué)習(xí)顯然是不夠的。很難直接獲得外部參數(shù)的真實(shí)值，并且很難提供可靠且可觀的訓(xùn)練集。因此，無(wú)監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)更適合于外部參數(shù)標(biāo)定問(wèn)題。然而，現(xiàn)有算法對(duì)使用條件要求更高，大量的訓(xùn)練是巨大的計(jì)算量，而泛化能力亟待提高。

審核編輯：郭婷