據(jù)估計(jì)，未來十年，全球?qū)⒂薪?80億美元用于空中無人機(jī)和其他無人駕駛飛機(jī)。雖然無人機(jī)技術(shù)的商業(yè)應(yīng)用預(yù)計(jì)將推動(dòng)超過1270億美元的全球市場(chǎng)，但消費(fèi)無人機(jī)正在從這些投資中獲益。為了更好地了解無人機(jī)的安全操作，讓我們深入了解實(shí)現(xiàn)安全飛行的關(guān)鍵要求：低延遲視頻傳輸。

要在用戶視線之外操作，任何無人機(jī)都需要配備具有實(shí)時(shí)傳輸功能的機(jī)載攝像頭。在為工作選擇合適的系統(tǒng)時(shí)，重要的是要記住以下因素：

低功耗：低功耗可延長(zhǎng)飛行時(shí)間

低延遲：更低的延遲可實(shí)現(xiàn)更快的反應(yīng)

無線鏈路穩(wěn)健性：堅(jiān)固的連接可提高準(zhǔn)確性和響應(yīng)能力

范圍：更長(zhǎng)的范圍延長(zhǎng)了操作距離

自主性：額外的傳感器可實(shí)現(xiàn)更安全的飛行

在這些考慮因素中，低延遲視頻壓縮和傳輸至關(guān)重要。以下方法概述了開發(fā)人員可以減少無人機(jī)視頻壓縮和傳輸系統(tǒng)延遲的幾種方法：

視頻捕獲：更高的幀速率意味著更短的捕獲時(shí)間 （Tcap）。例如，30 fps 攝像機(jī)需要 33 毫秒才能捕獲每一幀視頻。對(duì)于 60-fps 視頻捕獲，此數(shù)字減少到 16.5 毫秒。

壓縮或編碼：壓縮技術(shù)用于降低傳輸視頻幀所需的數(shù)據(jù)速率。H.264壓縮標(biāo)準(zhǔn)是在無人機(jī)中錄制和壓縮視頻的一種非常常見的技術(shù)。壓縮通常是一項(xiàng)計(jì)算密集型任務(wù)。編碼所需的時(shí)間 （Tenc） 取決于所使用的編碼引擎和功能的選擇。

傳輸：無人機(jī)使用Wi-Fi連接等無線通信機(jī)制與地面站通信。由此產(chǎn)生的傳輸延遲 （Ttx） 取決于可用的數(shù)據(jù)帶寬。例如，如果 720p30 流以 1 Mbps 編碼，可用帶寬為 2 Mbps，則向地面站發(fā)送流所需的時(shí)間為 16.5 毫秒。

網(wǎng)絡(luò)：根據(jù)需要，空中系統(tǒng)可以通過網(wǎng)絡(luò)連接到遠(yuǎn)程地面站。如果是這種情況，網(wǎng)絡(luò)內(nèi)可能會(huì)導(dǎo)致額外的延遲 （Tnw）。

接收：如果地面站也無線連接到網(wǎng)絡(luò)，則系統(tǒng)中涉及類似于傳輸?shù)念~外延遲（Trx）。

解壓或解碼：壓縮的視頻流需要在接收站解壓。與編碼一樣，此解碼過程也是計(jì)算密集型的，會(huì)給系統(tǒng)引入解碼延遲 （Tdec）。

顯示：就像視頻捕獲一樣，根據(jù)刷新率，會(huì)有顯示延遲（Tdisp）。

還需要注意的一點(diǎn)是，直接與地面站通信的無人機(jī)不需要依賴網(wǎng)絡(luò)，只會(huì)導(dǎo)致單個(gè)傳輸延遲（Ttx）（即Tnw = 0和Trc= 0）。

為了更好地說明逐幀操作期間從捕獲到顯示的總延遲，圖 1 詳細(xì)介紹了此過程的時(shí)間線。

圖1：視頻捕獲和顯示時(shí)間線。

總延遲的具體示例可在表 1 中找到。

表1：居中

表 1 中概述了用于控制無人機(jī)操作的高延遲方案。在這里，操作員需要 118.7 毫秒才能看到收集的視頻。如果無人機(jī)以每秒 15 米的速度行駛，當(dāng)遠(yuǎn)程操作員看到需要更改航班時(shí)，它將移動(dòng) 1.8 米;在此期間，無人機(jī)可能會(huì)墜毀。

為了幫助減少這種可能性，H.264標(biāo)準(zhǔn)引入了切片的概念。切片由多個(gè)宏塊（視頻幀的二維單元）組成，這些宏塊是獨(dú)立編碼的。使用此方法可以單獨(dú)解碼每個(gè)切片，而無需引用另一個(gè)切片。但是，雖然低延遲編碼在如何排列這些切片方面提供了靈活性，但使用自然行順序是最有效的。

當(dāng)幀中的切片數(shù)大于 1 時(shí)，開發(fā)人員不僅能夠減少編碼時(shí)間，還能夠減少整體延遲。在這種情況下，系統(tǒng)只需等待捕獲一幀即可開始編碼，從而自動(dòng)觸發(fā)其傳輸。其影響是捕獲、編碼、傳輸、接收、解碼和顯示過程不再是串行的，而是并行的，理論上每一步的延遲都會(huì)減少 N 倍。這使得整體延遲：T = Tcap + （Tenc + Ttx + Tnw + trx + Tdec + Tdisp）/N（圖 2）。

圖2：基于切片對(duì)處理時(shí)間線的影響。

理論上，編碼和顯示過程之間的有效時(shí)間將減少N倍。但是，實(shí)際上，時(shí)間可能并不總是與切片數(shù)成線性關(guān)系，這是由設(shè)置和處理單個(gè)切片所需的開銷引起的。表 2 顯示了基于切片的編碼的延遲示例，基于每幀 30 個(gè)切片的速率。

表 2：基于切片的延遲示例。

如本例所示，即使實(shí)現(xiàn)了有效的編碼/解碼時(shí)間，延遲仍占用基于幀的編碼的一半時(shí)間（每幀一個(gè)切片）。通過使用此過程，遠(yuǎn)程無人機(jī)飛行員的反應(yīng)速度至少提高了三倍。

需要考慮的一個(gè)權(quán)衡：雖然更多的切片將加快編碼和傳輸過程，但它也會(huì)降低壓縮率。此方法增加了用于切片的位數(shù)以及有效傳輸時(shí)間。設(shè)計(jì)人員必須優(yōu)化端到端系統(tǒng);最終，將由他們相應(yīng)地調(diào)整此參數(shù)。

數(shù)字媒體處理器利用集成的硬件引擎以及專為視頻的低延遲編碼和解碼而設(shè)計(jì)的幀到內(nèi)存 ISP，每幀使用多個(gè)切片。圖 3 顯示了低延遲視頻編碼 Wi-Fi 系統(tǒng)中無人機(jī)的數(shù)字媒體處理器。

圖3：TMS320DM368 數(shù)字媒體處理器采用低延遲視頻編碼 Wi-Fi 系統(tǒng)，用于無人機(jī)。

Wi-Fi 和藍(lán)牙組合連接設(shè)備配備了無人機(jī)所需的高級(jí)功能，例如天線分集、最大比率組合、雙頻支持（2.4 和 5 GHz 頻段）、速率管理和優(yōu)化的數(shù)據(jù)路徑。

如果需要對(duì)航空系統(tǒng)進(jìn)行機(jī)載監(jiān)控，可以使用UART接口與無人機(jī)的中央控制單元交換控制數(shù)據(jù)，從而實(shí)現(xiàn)自主避免碰撞。

對(duì)于工程師來說，無人機(jī)是一個(gè)令人興奮的技術(shù)平臺(tái)，這些平臺(tái)受到大多數(shù)設(shè)計(jì)變量（如尺寸、重量、功耗和成本 ［SWaP-C））的限制。受控飛行 - 自萊特兄弟時(shí)代以來從未改變的挑戰(zhàn) - 需要低延遲視頻處理，無論是通過無線連接為操作員交付還是最終完全自主操作。通過對(duì)全視頻幀進(jìn)行基于切片的處理并流式傳輸多個(gè)通道的壓縮視頻，設(shè)計(jì)人員將能夠?yàn)闊o人機(jī)飛行提供靈活、超低延遲的視頻傳輸。

審核編輯：郭婷