黄色资源战,久久小视频逼,十八禁无码白丝无遮挡

視頻目標追蹤算法是機器視覺中一項很實用重要的算法，視頻目標追蹤算法應用場景很廣，比如智能監(jiān)控、機器人視覺系統(tǒng)、虛擬現(xiàn)實（人體跟蹤）、醫(yī)學診斷（細胞狀態(tài)跟蹤）等。本文由滴普科技2048團隊AI產(chǎn)品部算法工程師朱曉麗介紹基于機器視覺的典型多目標追蹤算法應用實踐。

一、概述

目標追蹤算法分為單目標追蹤SOT（Single-Object Track）和多目標追蹤MOT(Multi-Object Track)[1][2]。在單目標跟蹤中，使用給定的初始目標位置，在后續(xù)視頻幀中對給定的物體進行位置預測。而多目標跟蹤算法，大部分都是不考慮初始目標位置的，目標可自行消失與產(chǎn)生。對目前小組項目而言只需用到MOT，所以本文提到的追蹤默認為MOT。

MOT的分類

1)TBD(Tracking-by-Detection)與DFT（Detection-Free Tracking）也即基于檢測的多目標跟蹤與基于目標外形的先驗知識無需檢測器的多目標跟蹤。TBD是目前學界業(yè)界研究的主流。 2) 傳統(tǒng)的跟蹤方式有在線跟蹤(Online)與離線跟蹤(Offline)兩種。在線跟蹤算法中，只能使用當前幀及之前幀的信息來進行當前幀的跟蹤。而在離線跟蹤算法中則沒有了這個限制，對每一幀的預測，都可以使用整個視頻的信息，這樣更容易獲得一個全局最優(yōu)解。兩種方式各有優(yōu)劣，一般視應用場合而定，離線跟蹤算法的效果一般會優(yōu)于在線跟蹤算法。而介于這兩者之間，還有一種稱之為接近在線的多目標跟蹤算法（NOMT），即可以部分利用未來幀的信息。在跟蹤結果可修改性方面，在線跟蹤是不允許修改以往的跟蹤結果的。因為一旦修改，算法自然就不再符合在線跟蹤原則，從而不能利用未來幀，進而變成了Near-Online或者Offline的跟蹤方式。需要特別注意，在線跟蹤不等于Real-Time實時跟蹤，實時跟蹤一定屬于在線跟蹤的，但絕大部分在線跟蹤算法速度還太慢，不足以支持實時處理的要求. 尤其是應用了深度學習的算法，往往需要大量運算，對實時處理有較大壓力。

MOT常用評價標準

表1.常用評價指標

此外，還有兩種評價方式CLEAR MOT Metrics與ID Scores，這里不做詳細介紹。

MOT的難點

MOT最常用的類別是Tracking-By-Detection與Online，對應的算法處理步驟：

圖1 MOT算法處理步驟

其中，有兩個難點：1）遮擋，這也是ID交換和軌跡分段的主要原因；2）兩個軌跡非常靠近，ID容易匹配不準，出現(xiàn)錯位或丟失。目前所有目標追逐算法都圍繞著這兩大難點進行優(yōu)化，優(yōu)化的方向圍繞著這四個步驟，如：運用Private Dataset，挑選合適檢測模型，提升檢測精度；特征提取不局限于一般的CNN，還有Siamese Network等網(wǎng)絡；特征間的相似度，不再是簡單的Distance Metric，也開始運用CNN、RNN、LSTM等；數(shù)據(jù)關聯(lián)匹配除了傳統(tǒng)經(jīng)典的Hungarian Algorithm，也可以當作圖優(yōu)化的問題處理。常用的效果較好的有以下幾種（詳細介紹見“二”節(jié)）：

Sort(Simple nline and real time tracking)
Deep Sort(Deep simple online and realtime tracking)
FairMot(A simple baseline for multi-object tracking)
Graphnn Multi-object Trachking。（后面簡寫為Graphnn-mot）

二、典型的追蹤算法介紹

1. Sort和Deep SortSort和Deep Sort[9]是經(jīng)典的追蹤算法之一，算法原理流程圖如下：

圖2.Deep Sort算法的簡單流程圖

如上圖，算法模塊，根據(jù)目前MOT常用的算法步驟：a.檢測， b.特征提取、軌跡預測， c.計算相似度，d.數(shù)據(jù)匹配，Deep Sort算法就這四個步驟，按序簡介涉及到的核心知識點五個：Setection、ReID model、Kalman Filter、iou與余弦/馬氏距離、Hungarian Algorithm。 Detection:常用的檢測網(wǎng)絡，如Faster Rcnn、Yolov4、SSD等，可根據(jù)實際項目對精度或時間的要求挑選。本文復現(xiàn)時，上面的幾種網(wǎng)絡都有嘗試，源代碼使用了商湯的mmdetection框架下的cascade-rcnn，但項目考慮時間和精度，最終使用了Yolov4[3]作為檢測來源。 ReID model:源代碼使用了多重粒度網(wǎng)絡（Mutiple Granularity Network）,是以Resnet50作為backbone，以Softmax_2048分支作為id特征。考慮到2048維特征過大，數(shù)據(jù)關聯(lián)時，時間會比較長，所以一般項目上會采用MobileNetv2[4]作為主干網(wǎng)絡，id特征維度可以下降到751，減少運算量。 Kalman Filter:卡爾曼濾波，預測confirmed id在下一幀的中心點位置以及box的size。iou與余弦距離：用于計算數(shù)據(jù)匹配的代價矩陣。1-iou的值作為box間的距離值，余弦距離函數(shù)值作為id特征值間的距離。 Hungarian Algorithm:匈牙利匹配算法用于目標預測與目標檢測的關聯(lián)匹配，確定目標的軌跡。相比之下，Sort算法比起Deep sort算法少了ReID model與余弦距離判斷，所以ID切換的過于頻繁，精度要低很多。速度幾乎只取決于Detection模型的預測速度。如果對速度要求很高的，可以考慮用sort算法。2.FairMotFairMot追蹤算法[10]，算法處理流程圖如下：

圖3.FairMot算法的簡單流程圖

FairMot算法重點突破：a. 比起之前兩步（先檢測后Re-ID）的追蹤算法，FairMot完成檢測與Re-ID共享網(wǎng)絡參數(shù)，減少算法推理時間，速度大幅度提升。 b. 比起之前單步的追蹤算法JDE[12]，存在的一些不足，如：一個物體可能被多個anchor負責并進行檢測，或?qū)嶋H物體的中心可能與負責對該物體進行檢測的anchor中心有偏差，都會導致id頻繁變換。Fairmot針對這些不足，不用anchor-based的檢測方式，以anchor-free目標檢測范式代替。 涉及到的核心知識點：一個有效簡潔的網(wǎng)絡結構DLA34、Kalman Filter、iou與余弦距離、Hungarian Algorithm。下面詳細介紹DLA34網(wǎng)絡，至于Kalman，Distance Metrixes， Hungarian Algorithm同Deep Sort的內(nèi)容一致，這里不多做解釋。 FairMot旨在將檢測與Re-ID揉在一個網(wǎng)絡結構里，且需要是anchor-free的目標檢測方式，所以DLA34網(wǎng)絡結構必需要預估目標中心點的位置和對應目標的features。FairMot的網(wǎng)絡結構圖如下：

圖4.FairMot網(wǎng)絡結構及檢測示意圖

DLA34的backbone是Resnet34[5]，Resnet網(wǎng)絡結構是里程碑似的出現(xiàn)，比起一般的plain network，Resnet直接使用stride=2的down sample并且用global average pool層替換全連接層，保持了網(wǎng)絡的復雜度，并有效解決了深度網(wǎng)絡的退化問題。 DLA34[6]是對Resnet34加強，除了Down Sample，還有Up Sample，有點類似FPN[7]的網(wǎng)絡結構，跨層添加features，使得多層融合，跨層stride=4。 heatmap head：用于預估目標中心位置，使用了與focal loss類似的損失函數(shù)，詳情推導見源文。 box offset head：目的是使得預估的目標位置更精準，輔助目標中心位置的預估。box size head：對每個預估了的目標中心，預估其對應的box的長和寬。offset與size兩個頭加入在一個l1 loss函數(shù)里面。 Re-ID branch：一個分類任務，旨在對每個預估出的目標中心產(chǎn)生64維的features，通過features用于后續(xù)計算前后幀的目標的相似度。使用了通用的softmax損失函數(shù)。 3.Graphnn-motGraphnn-mot算法[11]，簡單流程圖如下：

圖5.Graphnn-mot算法的處理流程

Graphnn-mot是基于圖神經(jīng)網(wǎng)絡[8]的離線MOT，利用圖結構同時執(zhí)行特征提取和數(shù)據(jù)關聯(lián)匹配，提出了時間感知信息傳遞網(wǎng)絡對節(jié)點和連接邊信息的更新。涉及到的核心知識點：圖構造、特征編碼、信息傳遞、軌跡預測。 圖構造：對需檢測的所有圖片（圖片之間要有時間關聯(lián)，最好是視頻），進行目標檢測。構建圖，其中節(jié)點對應檢測目標，邊對應檢測目標之間的連接。對圖中的每條邊引入了一個二元變量，如果某些邊連接了屬于同一條跟蹤軌跡且在同一條跟蹤軌跡上是時間連續(xù)的節(jié)點，那么其標簽為1，否則為0。一個節(jié)點不會屬于超過一個跟蹤軌跡。論文提出直接學習預測圖中的哪條邊被激活，即邊上的二元變量的最終值，為此將這個任務視為邊上的二分類任務，標簽就是二元變量值y。 特征編碼：在邊界框圖像上應用一個卷積神經(jīng)網(wǎng)絡，初始化節(jié)點的外觀特征嵌入。對于每一條邊也就是不同幀的每一對檢測，我們計算一個具有編碼了他們的邊界框之間的相對大小，位置以及時間差的特征的向量。然后將其輸入到一個多層感知器中得到邊的幾何嵌入。 信息傳遞：我們在整個圖上執(zhí)行了一系列的信息傳遞步驟。對于每一輪的信息傳遞，節(jié)點會與他們的連接邊分享外觀信息，邊會與他們的伴隨節(jié)點分享幾何信息。最后，能夠獲得節(jié)點和邊的更新嵌入信息，其包含了依賴于整個圖結構的高階信息。軌跡預測：根據(jù)最后的所有邊嵌入預測的連續(xù)的二元結果，獲得最終的跟蹤軌跡。

三、實際算法測試分析

本文對Deep Sort、FairMot、Graphnn-mot算法進行橫向測試，并使用追蹤經(jīng)典指標評估（見表1），基于MOTChallenge數(shù)據(jù)集實際測試進行評估，評估結果如下表（測試環(huán)境詳見附錄1）：

表2.追蹤算法實際測試的時間和精度（精度含義見表1）

如表所示，無論時間還是精度，Farimot更有優(yōu)勢。影響精度的原因主要是兩個： 1. 檢測目標聚集，被遮擋，ID switches頻率太高。三種追蹤算法都有出現(xiàn)這類情況，嚴重程度graphnn mot >deep sort>fairmot，可見下面擁擠場景例圖：

組圖1：擁擠場景中的graphnn mot追蹤算法

組圖2：擁擠場景中的deep sort追蹤算法

組圖3：擁擠場景中的farimot追蹤算法

如上圖紅上衣人為例，graphnn mot對應的id號為：無->15->20，id號連續(xù)變換；deep sort對應的id號：32->32->48，id號部分變換，只在最聚集的地方變換了id號；fairmot對應的id號：30->30->30，id號一直很穩(wěn)定。 2. 目標檢測精度不高，漏檢與誤檢。主要是graphnn mot算法有明顯漏檢，可見下面例圖：

組圖4：graphnn追蹤算法目標檢測漏檢示例圖

對于目前最常使用的追蹤算法，都是tracking-by detection，所以目標檢測的精度直接影響追蹤的精度。

四、總結

對于跟蹤模塊，目前來說更好的解決方案，比如使用MOTDT[13]，此算法在DeepSort的基礎上加入了軌跡評分的機制，目前像FairMOT、JDE使用的跟蹤模塊都是MOTDT，從精度和速度上此算法表現(xiàn)都是較優(yōu)的。圖神經(jīng)網(wǎng)絡在追蹤上的運用，還處于剛起步階段。屬于離線跟蹤算法之一，而且目標檢測與ReID檢測結果沒有進行融合，所以速度方面，沒有太大優(yōu)勢。對于實際項目來說，對綜合目標跟蹤效果影響最大的因素是目標檢測的精確度，相對于公共數(shù)據(jù)集，當使用實際項目的數(shù)據(jù)集時，使用的目標檢測精度提升后，實際跟蹤效果能達到比較理想的水平。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴

算法

算法

+關注

關注
23

文章
4698

瀏覽量
94721
機器視覺

機器視覺

+關注

關注
163

文章
4509

瀏覽量
122243
模型

模型

+關注

關注
1

文章
3483

瀏覽量
49987

原文標題：基于機器視覺的典型多目標追蹤算法應用實踐

文章出處：【微信號：vision263com，微信公眾號：新機器視覺】歡迎添加關注！文章轉(zhuǎn)載請注明出處。

女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

搜索歷史

基于機器視覺的典型多目標追蹤算法應用實踐

評論