隨著高清化視頻監(jiān)控的演進(jìn)和平安城市建設(shè)的飛速發(fā)展，監(jiān)控?cái)z像機(jī)遍布大街小巷。據(jù)不完全統(tǒng)計(jì)，一個中等規(guī)模的城市就有上萬路乃至數(shù)十萬路攝像機(jī)覆蓋，這是一個蘊(yùn)含海量信息的龐大系統(tǒng)，每天產(chǎn)生的視頻數(shù)據(jù)相當(dāng)于1000億張照片。

海量的視頻記錄了少部分價值信息，這些價值信息為大多數(shù)事件留下了影像資料，為事后追溯事件真相、維護(hù)社會治安、預(yù)防并打擊違法犯罪、保障生命財(cái)產(chǎn)安全、促進(jìn)日常工作生活正常運(yùn)行帶來巨大便利。

即便不考慮各個監(jiān)控系統(tǒng)之間的信息關(guān)聯(lián)，光瀏覽這些視頻就需要花費(fèi)大量的人力物力。解決這一問題的核心技術(shù)即視頻結(jié)構(gòu)化描述技術(shù)，將海量視頻或圖片的非結(jié)構(gòu)化數(shù)據(jù)提取并轉(zhuǎn)化為結(jié)構(gòu)化信息描述。

視頻結(jié)構(gòu)化是將視頻內(nèi)容按照語義關(guān)系，采用時空分割、特征提取和對象識別等處理手段，組織成可供計(jì)算機(jī)和人理解的文本信息技術(shù)，并進(jìn)一步轉(zhuǎn)化為公安實(shí)戰(zhàn)所用的情報(bào)，實(shí)現(xiàn)視頻數(shù)據(jù)向信息、情報(bào)的轉(zhuǎn)化。

視頻內(nèi)容管理平臺支持實(shí)時視頻和歷史視頻分析，按照不同智能分析算法模型，采用結(jié)構(gòu)化標(biāo)準(zhǔn)語義定義，將提取結(jié)構(gòu)化信息存儲到分布式數(shù)據(jù)庫（元數(shù)據(jù)），按照業(yè)務(wù)需求設(shè)定智能分析算法規(guī)則，支持對視頻進(jìn)行快速、高效研判。

實(shí)時視頻結(jié)構(gòu)化分析包括智能行為行析、車輛（包括車牌）信息結(jié)構(gòu)化。歷史視頻結(jié)構(gòu)化分析包括車輛（包括車牌）、視頻摘要和視頻搜索結(jié)構(gòu)化。

智能行為分析結(jié)構(gòu)化信息主要包括：目標(biāo)的顏色（占比最大的顏色）、坐標(biāo)（目標(biāo)畫面中心點(diǎn)）、種類（人、車、物）、時間，所關(guān)聯(lián)的視頻，目標(biāo)的尺寸。

車輛結(jié)構(gòu)化信息包括：車牌號碼、車牌顏色、車輛顏色、車輛特征（車輛類型、車輛品牌、車輛子品牌、年款和局部特征），所關(guān)聯(lián)的視頻。

視頻搜索結(jié)構(gòu)化信息包括：目標(biāo)坐標(biāo)（目標(biāo)畫面中心點(diǎn)）、目標(biāo)輪廓、時間，所關(guān)聯(lián)的視頻以及幀號，目標(biāo)的尺寸。

視頻搜索通過對非結(jié)構(gòu)化的原始視頻數(shù)據(jù)進(jìn)行智能分析，通過對背景和前景建模處理，提取出視頻中運(yùn)動目標(biāo)對象的信息、顏色、尺寸、軌跡等，并建立目標(biāo)對象的結(jié)構(gòu)化數(shù)據(jù)庫，偵查人員可以通過設(shè)置目標(biāo)類別（人、車、物）、出現(xiàn)區(qū)域、運(yùn)動方向和軌跡等搜索條件，通過對目標(biāo)顏色模糊匹配，快速從視頻中搜索出滿足條件的目標(biāo)對象，并以視頻縮略列表的形式展現(xiàn)，通過圖片跳轉(zhuǎn)播放目標(biāo)對象在原始視頻中的真實(shí)場景，偵查人員可以進(jìn)行更進(jìn)一步的分析研判，提高偵查人員從海量視頻中查找目標(biāo)的效率。

具體視頻搜索分為元數(shù)據(jù)提取和視頻搜索處理兩部分，如下：

視頻搜索元數(shù)據(jù)提取示意圖

1、視頻幀采用基于運(yùn)動目標(biāo)的行為分析處理，通過背景建模、前景提取、目標(biāo)跟蹤等，提取圖像的背景圖和目標(biāo)元數(shù)據(jù)信息。

2、目標(biāo)元數(shù)據(jù)包括目標(biāo)軌跡、目標(biāo)大小（像素大小）、目標(biāo)顏色（黑、白、紅、黃、綠、藍(lán)、未知）和目標(biāo)類型（人、車、未知）。

3、將目標(biāo)元數(shù)據(jù)存到數(shù)據(jù)庫元數(shù)據(jù)表。元數(shù)據(jù)表包括視頻文件id、對象id、目標(biāo)大小、目標(biāo)類型、目標(biāo)顏色、目標(biāo)軌跡和起止時間。

視頻搜索處理示意圖

1、搜索分為兩種方式：目標(biāo)搜索，輸入條件包括目標(biāo)類型（人/車/物），目標(biāo)顏色（黑、灰、白、紅、黃、綠、藍(lán)），目標(biāo)大小、目標(biāo)區(qū)域和排除區(qū)；以及軌跡搜索。根據(jù)輸入條件搜索元數(shù)據(jù)表，返回對應(yīng)元數(shù)據(jù)。

2、根據(jù)元數(shù)據(jù)查詢到的結(jié)果和目標(biāo)的軌跡信息（以x、y、width、high、time的二進(jìn)制序列表示），獲取軌跡中點(diǎn)的時間戳，抓取視頻文件對應(yīng)時間戳的幀，并截圖。

如果是目標(biāo)搜索，將對應(yīng)的目標(biāo)加框并標(biāo)識，并截圖存儲。

如果是軌跡搜索，將元數(shù)據(jù)表中記錄的目標(biāo)軌跡疊加到對應(yīng)幀上，并截圖存儲。

案例1#：

2014年X月X日上午9:30，XX市北關(guān)公安分局民警接到報(bào)案稱有人被撞傷，民警根據(jù)線索信息確認(rèn)：嫌疑車輛為“白色北京現(xiàn)代-朗動”小型車，牌照看不清楚。民警利用“視頻大數(shù)據(jù)結(jié)構(gòu)化系統(tǒng)”，對案發(fā)生前后的1個半小時內(nèi)10萬余條車輛行駛記錄進(jìn)行批量搜索，系統(tǒng)在1秒鐘左右從10萬余條數(shù)據(jù)中查找出160輛“白色北京現(xiàn)代-朗動”小型車在路上行駛；再經(jīng)人工排查，確認(rèn)嫌疑車輛，車牌為“*P92347”，整個案件從接案到成功抓獲嫌疑人前后共兩個多小時。

案例2#：

2014年X月X日晚20:00，在XX市汽車站附件發(fā)生一路人被撞傷案件。確認(rèn)線索信息：逃逸車輛為“黑色大眾”轎車，無號牌。辦案民警通過“視頻大數(shù)據(jù)處理云存儲中心”，對案發(fā)1個月前97萬多條車輛信息進(jìn)行排查，快速檢索出 2月1日—5日，發(fā)現(xiàn)有一臺黑色“大眾-帕薩特”無牌車輛在城區(qū)共出現(xiàn)8次。通過對該車多次歷史過車記錄進(jìn)行追蹤、分析，確認(rèn)該車經(jīng)常駛?cè)胪恍^(qū)，后經(jīng)地面?zhèn)刹閷⑾右扇俗ゲ稓w案。

案例3#：

201X年X月X日下午三時許，XX市XX鎮(zhèn)人民路人民大廈XX發(fā)生一宗盜竊案件。民警根據(jù)案件線索，利用視頻結(jié)構(gòu)化系統(tǒng)提取的人臉圖片與人像庫、人臉圖片庫中的信息進(jìn)行比對分析，共查詢到40余張相似的人臉圖片。經(jīng)人工排查，最終掌握嫌疑人身份信息。

有人說2019年的安防主題是“泛安防，去安防”，體現(xiàn)了安防企業(yè)的外延需求以及AIoT企業(yè)打破安防邊界的意愿。AIoT時代，視頻大數(shù)據(jù)的量產(chǎn)爆發(fā)，如若不能進(jìn)行智能化整合與分類，那么這些數(shù)據(jù)就只是AIoT世界中的廢料和垃圾山而已。視頻結(jié)構(gòu)化技術(shù)將原始視頻數(shù)據(jù)精縮，變?yōu)楦撞檎摇⒄即鎯Ω∏腋邆鋺?yīng)用價值的高精度數(shù)據(jù)，是 AI Cloud、城市大腦、安防視覺中樞、視頻編碼及車輛結(jié)構(gòu)化、ReID等場景應(yīng)用落地的關(guān)鍵技術(shù)。