作者：魚骨 | 來源：計(jì)算機(jī)視覺工坊

摘要 目前，全景圖像位置和姿態(tài)參數(shù)的解算多基于點(diǎn)特征，而場景中普遍存在的線特征尚未得到充分利用。本文提出一種點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，不僅可用于點(diǎn)特征缺失場景中全景圖像位姿參數(shù)的解算，而且在點(diǎn)特征充足的場景中可提高位姿解算的精度和穩(wěn)健性。該方法中的線特征使用線上的任意兩點(diǎn)表示，不要求全景圖像和三維場景同名線上的選點(diǎn)具有對(duì)應(yīng)關(guān)系，因而易于選取，具有極大的實(shí)用性。首先，使用直接線性變換構(gòu)建點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型，并針對(duì)水平線和垂直線獲取簡化后的模型；然后，利用仿真道路場景，從特征點(diǎn)和線的不同組合方式及大姿態(tài)角兩方面分析該模型的適用性，并通過人工引入不同類型及量級(jí)的點(diǎn)-線誤差分析該模型的容差性；最后，將本文方法應(yīng)用于全景圖像與激光點(diǎn)云的融合，從理論和實(shí)踐兩方面證明點(diǎn)-線特征聯(lián)合的位姿解算方法在精度、穩(wěn)健性和容差性方面優(yōu)于單純的點(diǎn)特征解算方法。

關(guān)鍵詞 全景圖像；點(diǎn)-線特征聯(lián)合；位姿解算；仿真分析；全景圖像與激光點(diǎn)云融合

引言 準(zhǔn)確、穩(wěn)健地獲取全景圖像的位姿參數(shù)是一項(xiàng)基礎(chǔ)且關(guān)鍵的工作。目前線特征在航空影像的位姿解算中得到了較為廣泛的應(yīng)用，但全景圖像的位姿解算仍多基于點(diǎn)特征，而真實(shí)場景中普遍存在的線特征尚未得到充分利用，如建筑物輪廓、桿狀地物等，且缺少點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型。因此，本文提出一種點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，其中，點(diǎn)特征可直接計(jì)算位置和姿態(tài)參數(shù)，線特征可對(duì)姿態(tài)參數(shù)進(jìn)行約束，將點(diǎn)-線特征結(jié)合有利于提高全景圖像位姿解算的精度和穩(wěn)健性。

方法 本文方法流程如圖1所示。

圖1 本文方法流程 1、點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型 1.1、基于點(diǎn)特征的全景圖像位姿解算模型 目前最常用的是球面全景圖像，如圖2所示，球面模型分別以豎直角(v)和水平角(h)表示全景圖像的行和列坐標(biāo)，屬于等角投影成像。

圖2 全景圖像的位置和姿態(tài)參數(shù) 點(diǎn)模型可表示為：

式中參數(shù)分別為：

其中，r、c為地物點(diǎn)p (x, y, z)在全景圖像上的行和列坐標(biāo)。點(diǎn)模型中的待求解矩陣 X 包含11個(gè)參數(shù)(l1, l2, …, l11)，因此至少需要6對(duì)同名特征點(diǎn)(p ≥6 )進(jìn)行解算。在計(jì)算出 X 后可求解姿態(tài)矩陣和位置參數(shù)。

1.2、基于線特征的全景圖像位姿解算模型 三維空間中直線上任意兩點(diǎn)p1、p2 和成像位置( XS, YS, ZS )的共面方程可表示為：

根據(jù)共面特性，使用全景圖像中對(duì)應(yīng)直(曲)線上的任意兩點(diǎn)分別替換p1、p2，可將上式表示為：

其中：

因此，線模型可表示為：

1.3、點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型

綜合點(diǎn)特征和線特征的全景圖像位姿解算模型，可得點(diǎn)-線特征聯(lián)合的全景圖像位姿解算模型，如下式所示：

上式為p 對(duì)同名點(diǎn)和t對(duì)同名線組成的聯(lián)合模型。在平差求解出X 后,可計(jì)算姿態(tài)矩陣R 和位置參數(shù)( XS, YS, ZS )。 針對(duì)垂直線特征，即 Δx=Δy=0，聯(lián)合模型可簡化為：

針對(duì)水平線特征，即Δz=0，聯(lián)合模型可簡化為：

式中，vi 表示水平線的斜率，計(jì)算公式如下：

1.4、聯(lián)合模型的精度評(píng)價(jià)指標(biāo) 解算出X后獲取檢查點(diǎn)在全景圖像中的俯仰角和水平角(v', h')：

基于下式計(jì)算各個(gè)檢查點(diǎn)的模型誤差(δi)和模型求解中誤差(δ)，δ為聯(lián)合模型的精度評(píng)價(jià)指標(biāo)：

式中，ri、ci 為檢查點(diǎn)在全景圖像中的真實(shí)行、列坐標(biāo)，m為檢查點(diǎn)的個(gè)數(shù)。

2、聯(lián)合模型的仿真分析

使用仿真數(shù)據(jù)檢驗(yàn)聯(lián)合模型的適用性和容差性。首先，仿真道路場景點(diǎn)云，由此可獲取不同位姿參數(shù)下的虛擬全景圖像；然后，從特征點(diǎn)和線的不同組合方式分析聯(lián)合模型的適用性；在特征點(diǎn)和線最少條件下檢驗(yàn)該模型的適用性，如圖3所示分別試驗(yàn)2點(diǎn)+7線、3點(diǎn)+5線、4點(diǎn)+3線和5點(diǎn)+1線這4種組合方式。結(jié)果表明4種組合下模型誤差均為0像素，由此證明聯(lián)合模型在不同特征點(diǎn)和線組合情況下的適用性，同時(shí)也表明聯(lián)合模型可用于點(diǎn)特征缺失場景中全景圖像位姿參數(shù)的解算。

圖3 特征點(diǎn)和線的不同組合方式 使用2點(diǎn)+7線的組合方式，檢驗(yàn)聯(lián)合模型在大姿態(tài)角情況下的適用性。如圖4所示，分別試驗(yàn)4種大姿態(tài)角情況。結(jié)果表明4種大姿態(tài)角情況下聯(lián)合模型誤差均為0像素，由此證明了聯(lián)合模型在大姿態(tài)角情況下的適用性。

圖4 不同情況的大姿態(tài)角分析 最后，通過人工引入不同類型與量級(jí)的點(diǎn)-線誤差從全景圖像坐標(biāo)誤差和三維場景坐標(biāo)誤差兩方面分析該模型的容差性。見表1,試驗(yàn)中對(duì)多控制點(diǎn)、均控制點(diǎn)和少控制點(diǎn)3種情況驗(yàn)證聯(lián)合模型的容差性。 表1 垂直線輔助的聯(lián)合模型精度與可靠性分析

可得出如下結(jié)論： 1）在多控制點(diǎn)情況，點(diǎn)模型和聯(lián)合模型均可高精度地解算出全景圖像的位姿參數(shù)。 2）垂直線可以提高解算的精度和穩(wěn)健性。 3）垂直線不僅可用于控制點(diǎn)缺失場景下位姿參數(shù)的解算，而且多條垂直線的優(yōu)化效果和穩(wěn)健性明顯優(yōu)于單條垂直線。 4）不同數(shù)量垂直線的加入均優(yōu)化了不同量級(jí)(0.5~5.0像素)的一類誤差解算結(jié)果。 5）二類誤差對(duì)位姿參數(shù)求解精度的影響只與二類誤差本身大小相關(guān)，與點(diǎn)和垂直線的數(shù)量無關(guān)。 6）理論上聯(lián)合模型在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點(diǎn)模型。這里也推薦「3D視覺工坊」新課程《面向三維視覺算法的C++重要模塊精講：從零基礎(chǔ)入門到進(jìn)階》。

3、點(diǎn)-線特征聯(lián)合全景圖像位姿解算方法的應(yīng)用
使用真實(shí)場景的車載激光點(diǎn)云和兩幅全景圖像進(jìn)行試驗(yàn)，驗(yàn)證點(diǎn)-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點(diǎn)特征解算方法。展示了使用點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，實(shí)現(xiàn)全景圖像與激光點(diǎn)云融合的局部效果。

結(jié)論 本文提出了一種點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法，通過仿真道路場景證明了該方法具有優(yōu)異的適用性和容差性，將該模型應(yīng)用于全景圖像與激光點(diǎn)云的融合，從理論和實(shí)踐兩方面證明了點(diǎn)-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點(diǎn)特征解算方法。本文的結(jié)論如下： （1）點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法中，使用線上的任意兩點(diǎn)表示線特征，且不要求選點(diǎn)具有對(duì)應(yīng)關(guān)系，因此易于選取，具有較高的實(shí)用性； （2）點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法適用于任意姿態(tài)角下全景成像位姿參數(shù)的解算，具有極大的適用性； （3）點(diǎn)-線特征聯(lián)合的全景圖像位姿解算方法在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點(diǎn)特征解算方法。

編輯：黃飛