在過去的幾年里，基于軟件的視頻穩(wěn)定技術(shù)發(fā)展迅速——事實證明這是一件好事。因為最初的努力主要是為了讓智能手機視頻更適合消費者，現(xiàn)在已經(jīng)發(fā)展為需要在所有類型的分布式工作人員之間進行穩(wěn)定的視頻通信，部分原因是新形式因素和遠程工作的興起。

您會看到，隨著 Covid-19 大流行進入第三個年頭，企業(yè)繼續(xù)調(diào)整和利用技術(shù)解決方案來完成工作，無論是虛擬會議、遠程醫(yī)療、電子商務(wù)還是其他方式。早期，對于數(shù)以百萬計的知識工作者而言，視頻通信對于持續(xù)運營變得至關(guān)重要。首先，因為他們都在家工作，然后是為了在所謂的“混合”工作環(huán)境中促進協(xié)作，因為并不是每個人都可以面對面地在一起，有些人必須通過視頻進行修補。

但混合工作與建筑或制造業(yè)等行業(yè)不同，這些行業(yè)的工作顯然是非數(shù)字化的，大多數(shù)工人沒有筆記本電腦和網(wǎng)絡(luò)攝像頭進行協(xié)作。盡管如此，如果您愿意的話，仍然需要在現(xiàn)場或車間進行視頻通信，部分是為了支持社交距離，部分是為了連接即使在非大流行時期也可能彼此遠程工作的分布式專家。

例如，分析師觀察到增強現(xiàn)實 (AR) 頭戴式耳機的采用率顯著上升，以促進聯(lián)網(wǎng)工作。去年，ABI Research 大肆宣傳 AR在工業(yè)市場的使用增長——制造業(yè)、運輸/汽車、能源和公用事業(yè)、物流以及建筑、工程和施工 (AEC)。使用支持 AR 和視頻的移動設(shè)備，以及不斷涌現(xiàn)的智能眼鏡和耳機，工業(yè)公司正在賦予全新的工人分類以進行視覺協(xié)作，無論是來自工作場所的免提視頻通話，還是視覺記錄檢查，記錄過程以供培訓(xùn)或參考，或者只是在遠程專家中進行修補以咨詢雙方可以同時看到的情況。

但是，如果沒有視頻穩(wěn)定功能，這一切都無法正常工作。帶有視頻耳機的建筑工人或公用事業(yè)檢查員不是穩(wěn)定的三腳架。他們移動、搖晃、咳嗽——所有這些都使他們捕捉到的視頻無法準(zhǔn)確觀看。對于需要“查看”現(xiàn)場工作人員所見內(nèi)容的遠程專家來說，跳動的視頻會讓人感到惡心。

Imint 的 Vidhance Video Stabilization Gen 4 解決方案顯著減少了不必要的移動并提高了流暢度。（來源：Imint Image Intelligence AB）

基于軟件的視頻穩(wěn)定的演變

好消息是，我們正在進入新一代基于軟件的視頻穩(wěn)定功能，它可以支持向我們拋出的任何移動視頻用例。事實上，我們已經(jīng)達到了穩(wěn)定效果非常好的地步，這幾乎是不自然的。那時，我們可以開始適當(dāng)?shù)刂匦乱脒\動，因為它支持最終用例。想象一位外科醫(yī)生帶著視頻耳機流式傳輸手術(shù)。例如，我們希望穩(wěn)定她的頭部移動的影響，而不是患者的心跳。

軟件視頻穩(wěn)定最初是基于圖像的，使用光流方法比較視頻幀，檢測像素從一個到另一個的運動，并補償該流以產(chǎn)生更穩(wěn)定的視頻。結(jié)果很好，但需要的計算能力比早期的移動設(shè)備所能承受的要多。

隨著智能手機開始包含陀螺儀，穩(wěn)定性演變?yōu)榛谕勇輧x，而不是基于圖像。穩(wěn)定算法不需要從相機傳感器讀取實際圖像來了解運動如何影響視頻。棘手的部分是將陀螺儀數(shù)據(jù)中檢測到的運動與相機傳感器的實際運動相關(guān)聯(lián)，這需要相機系統(tǒng)的理論模型來確定真實世界的條件。然后，穩(wěn)定軟件可以向相機的渲染設(shè)備發(fā)送有關(guān)如何調(diào)整和裁剪幀以穩(wěn)定視頻的信息。基于陀螺儀的穩(wěn)定性非常好且節(jié)能，非常適合用于智能手機和 AR 耳機等移動設(shè)備。

在大多數(shù)情況下，這就是我們今天所處的位置。但是，如果我們結(jié)合這兩種穩(wěn)定模式——基于圖像和基于陀螺儀——我們可以實現(xiàn)更好的亞像素穩(wěn)定，未來的應(yīng)用可能需要并從中受益。隨著相機分辨率的提高，例如，隨著工業(yè)可視化應(yīng)用程序利用這些更高的分辨率，視頻穩(wěn)定器將為此付出努力，并最終為應(yīng)用程序的成功奠定基礎(chǔ)。

今天有基于軟件的視頻穩(wěn)定解決方案將基于圖像的穩(wěn)定覆蓋在基于陀螺儀的穩(wěn)定上，但它們是計算密集型的。提供兩者的旗艦移動設(shè)備通常設(shè)計為以非常高分辨率（如 8K）回退到基于陀螺儀的設(shè)備。但是，當(dāng)智能手機或耳機具有更快的專用處理器時，能夠執(zhí)行最先進的視頻穩(wěn)定功能的時代即將到來。

這成為我們繪制新的高級視頻應(yīng)用程序的畫布。隨著越來越多更好的攝像機進入勞動力市場以用于新的和不同的用途，視頻穩(wěn)定性將至關(guān)重要——在某種程度上。但移動視頻的未來并沒有更加穩(wěn)定。它更好地穩(wěn)定。實現(xiàn)這一目標(biāo)的方法是通過軟件實現(xiàn)超級穩(wěn)定的視頻——視頻如此穩(wěn)定以至于看起來不自然——然后使用人工智能允許或重新引入運動。

換句話說，隨著視頻和 AR 設(shè)備滲透到各個行業(yè)并需要高級穩(wěn)定性，將不可避免地需要將不需要的運動與想要的運動區(qū)分開來。并非所有的相機顛簸、搖晃和掃動都是不好的，而這種新一代技術(shù)可以感知差異。稱之為智能視頻穩(wěn)定或基于意圖的視頻穩(wěn)定，這一切都可以在不消耗電力的情況下實現(xiàn)。

這種更好的穩(wěn)定性現(xiàn)在是可能的。它在無數(shù)用例中的應(yīng)用也得到了更好的關(guān)注。

Johan Svensson 是Imint Image Intelligence AB的首席技術(shù)官，Vidhance 視頻增強軟件的發(fā)明者。

審核編輯 黃昊宇