目前，國內(nèi)外尚未將三維成像技術(shù)成熟應(yīng)用到監(jiān)控產(chǎn)品上面，功能比較接近的產(chǎn)品是車輛智能全景監(jiān)控系統(tǒng)。但它只能記錄平面信息，不能全面地反映周圍環(huán)境的具體情況。

今天為大家介紹的360度全景智能監(jiān)控方案，正是在車輛智能全景監(jiān)控系統(tǒng)發(fā)展而來的，是對車輛智能全景監(jiān)控系統(tǒng)的改進。

通過采用三維成像技術(shù)和語聲混合算法，本系統(tǒng)一方面將周圍物體的三維建模和尺度測量用3D技術(shù)來實現(xiàn)。另一方面，還將全部觀測點的聲音信息全部記錄下來，使得記錄的資料更加生動、形象和全面。

本系統(tǒng)方案可以廣泛地應(yīng)用于中高檔汽車、工程機械、港口船閘、水庫大壩、金融場所等重要場合的全方位智能化監(jiān)控。

系統(tǒng)基本原理描述

三維智能全景監(jiān)控系統(tǒng)主要分為如下幾部分：中央處理單元、顯示與人機界面、專用攝像頭（分布式安裝）。

本系統(tǒng)的主體為中央處理單元，該部分主要包括：

（1）視頻采集部件，采集系統(tǒng)所需視頻，并將采集到的視頻傳送到視頻合成部件。

（2）視頻防抖部件，最大程度地預(yù)防在視頻采集過程中的抖動，同時進行相應(yīng)的視頻補償操作。

（3）視頻合成部件，將采集到到視頻內(nèi)容進行無縫合成，形成全景視頻，并輸送到投影與映射單元。

（4）投影與映射部件，將合成的視頻內(nèi)容進行投影與映射，輸出到相應(yīng)的終端。

（5）目標檢測部件，對周邊的目標物體進行智能檢測，按照預(yù)先設(shè)定的規(guī)則進行智能控制操作、綜合障礙預(yù)警和多元導(dǎo)航信息等。

（6）GIS部件，對移動主體進行GIS定位功能。

圖1 系統(tǒng)方案框架圖

系統(tǒng)硬件的工作流程框圖

系統(tǒng)方案主要包括：DSP核心處理器單元、FPGA協(xié)同處理器單元、圖像采集單元(相機)、視頻解碼芯片、視頻編碼芯片、CAN模塊。圖3．1系統(tǒng)硬件的工作流程框圖。

系統(tǒng)硬件平臺主要器件的選型及討論分析

本系統(tǒng)硬件平臺器件選擇是依據(jù)系統(tǒng)穩(wěn)定性、可擴展性以及日后軟件升級空間等各項性能指標最佳化的情況下進行分析的。各器件還以盡可能降低系統(tǒng)成本，充分利用各芯片的內(nèi)部資源為準則進行選取，提高整個系統(tǒng)的集成度和性價比。

（1）TMS320C6000系列DSP分析

在本設(shè)計中DSP作為核心處理器件，它的選型決定外圍電路的復(fù)雜性和整個系統(tǒng)的穩(wěn)定性。為實現(xiàn)多圖像傳感器融合的全景泊車輔助系統(tǒng)的特殊要求，核心處理器DSP的選型決定了整個系統(tǒng)電路的結(jié)構(gòu)。

DM642保留了C64x原有的內(nèi)核結(jié)構(gòu)以及大部分外設(shè)的基礎(chǔ)上為適應(yīng)多路視頻采集處理等應(yīng)用增加了3個雙通道數(shù)字視頻無縫接口，可最多同時采集6路數(shù)字視頻流。其片內(nèi)資源豐富和擴展性好，最為適合本設(shè)計的要求，經(jīng)過綜合考慮，最終選擇DM642作為本設(shè)計的核心處理器。

選用DM642作為本設(shè)計核心處理器， DM642整體功能框圖如圖3．2所示。

DM642內(nèi)部使用L1P和L1D兩級高速緩存結(jié)構(gòu)，有著強大豐富的外圍設(shè)備接口。L1P和L1D分別為一級程序緩存、二級數(shù)據(jù)緩存，LIP是一個的直接映射緩存空間，L1D是一個2組相連的高速數(shù)據(jù)緩存空間n 2|。

外圍設(shè)備包括：3個可配置視頻端口，1個以太網(wǎng)控制器模塊，1個高速數(shù)據(jù)輸入／輸出管理模塊，1個內(nèi)插VCXO控制接口，1個多鏈路專用音頻接口，1個12C總線硬件標準接口，2個可配置多通道緩沖串口，3個可配置32位定時器，1個與外圍設(shè)備的擴展接口(PCI)，1組16管腳的可配置I／O端口(GPIO)，1個64位IMIFA，可以無縫連接同／異步存儲器和外圍擴展設(shè)備。

（2）FPGA的選型及分析

經(jīng)過調(diào)研最終本設(shè)計選用的是擁有40萬系統(tǒng)門數(shù)的Spartan一3AN系列XC3S400AN型號的芯片，所以著重介紹此款芯片的資源外設(shè)等相關(guān)信息n6。

Spartan一3AN系列芯片為系統(tǒng)集成度非常高的非易失性FPGA，此款芯片有以下幾項獨特性能：FPGA有大量內(nèi)部SRAM高性能資源、非易失性、縮小板卡空間和配置便捷等特點。

Spartan一3AN．硬件平臺是專門面向?qū)Τ杀居袊栏褚蟮?a target="_blank">嵌入式產(chǎn)品開發(fā)的。

Spartan-3AN系列FPGA芯片的硬件資源如表3．1。

（3）圖像傳感器的選型及分析

圖像傳感器包括電子束攝像管、CCD、CMOS等超大規(guī)模半導(dǎo)體集成感光器件的圖像傳感器和面陣高速掃描型圖像傳感器等。CMOS圖像傳感器的內(nèi)部結(jié)構(gòu)框圖如圖3．3所示。

在CMOS器件發(fā)展的歷程中，CMOS器件從“被動像敏單元”結(jié)構(gòu)到“主動像敏單元”演變是由于大規(guī)模集成電路設(shè)計與微電子制造技術(shù)進入深亞微米階段，CMOS圖像傳感器芯片可集成大規(guī)模感光陣列、信號讀出及處理電路和控制電路于一體，再加上光學(xué)鏡頭等外圍設(shè)備就構(gòu)成了一個光學(xué)成像系統(tǒng)。

現(xiàn)代工藝條件下的CMOS芯片內(nèi)部結(jié)構(gòu)主要是由感光陣列、水平(垂直)控制電路和時序電路、信號讀出與處理電路、模／數(shù)轉(zhuǎn)換電路和數(shù)據(jù)接口電路等組成。

下面對兩種圖像傳感器進行分析，即MT9V024和0v7960兩款不同公司的圖像傳感器芯片。

(1)MT9V024圖像傳感器

MT9V024是像平面尺寸為1／3英寸、寬VGA模式的CMOS有源像素圖像傳感器，它采用TrueSNAP球形快門和高動態(tài)范圍。該傳感器專門為內(nèi)外兼顧的汽車成像需求而設(shè)計，這使得它成為多種成像應(yīng)用環(huán)境的理想芯片。

這款傳感器采用Aptina的突破性低噪聲的CMOS成像技術(shù)以達到CCD的成像質(zhì)量(基于信號信噪比和低光照靈敏度)同時保持了固有的大小，成本和CMOS的整合優(yōu)勢。

片上采用先進的相機功能，如分級2×2，4×4，以提高在較小的決議上操作時的靈敏度，就像窗口功能，行和列鏡像。通過標準兩線串行可編程接口，可以在默認模式下對幀大小、曝光度、增益以及其他參數(shù)進行配置。默認模式輸出寬VGA尺寸的圖像，每秒60幀。

片上模數(shù)轉(zhuǎn)換器把每個像素的模擬信號轉(zhuǎn)換為士Obit數(shù)據(jù)流?？闪硗鈫⒂靡粋€12位全分辨率代替10位小信號。除了傳統(tǒng)的并行邏輯輸出，MT9V024還有還具有LVDS(串行低壓差分信號)這款傳感器能夠在立體攝像中操作。MT9V024圖像傳感器具體性能參數(shù)如表3．2所示：

(2)0V7960圖像傳感器

0V7960是OMNIVISION最近兩年新推出的小尺寸圖像傳感器芯片，它的出現(xiàn)滿足了汽車業(yè)對輔助駕駛系統(tǒng)應(yīng)用要求(如倒車后視鏡)，開創(chuàng)了CMOS圖像傳感器在汽車安全輔助駕駛系統(tǒng)應(yīng)用的新開端0V7960圖像傳感器的性能完全滿足了汽車電子行業(yè)對圖像傳感器成像效果的特殊需求，1／4超小巧體積，在低光照下的也有良好的性能(<0．01LUX)，并采用全球最小的CSP封裝，體積比同類產(chǎn)品小50％，已經(jīng)成為CMOS產(chǎn)品的領(lǐng)導(dǎo)者。

0V7960圖像傳感器具體性能參數(shù)如表3．3所示：

本設(shè)計的目的是開發(fā)出一種能打破現(xiàn)有的只在高端車上配備的全景泊車輔助系統(tǒng)。所以低成本是系統(tǒng)開發(fā)必須考慮的因素之一，由于用于汽車主動安全的系統(tǒng)是給駕駛員提供二些車輛周圍實時狀況信息，所以系統(tǒng)對圖像質(zhì)量的要求不是特別高，經(jīng)過綜合考慮本設(shè)計才用0V7960圖像傳感器作為相機的圖像采集芯片。

電源電路設(shè)計

由于本系統(tǒng)包含DSP、FPGA以及它們的外圍電路器件，所需電源有5v、3．3v、2．5v、1．8v、1．4v、1．2v等，系統(tǒng)所需電源如此之多電源模塊的設(shè)計會成為整個系統(tǒng)的難點，能否保證系統(tǒng)個部分能夠穩(wěn)定運行成為整個硬件設(shè)計成敗關(guān)鍵，下面將各模塊器件的電源進行總體說明。

1、DSP及外圍設(shè)備電源電路

汽車啟動和正常行駛過程中時，其電源輸出電壓在lOV一16V范圍內(nèi)無規(guī)律突變。不難想象出這樣的大幅度波動電壓對電子系統(tǒng)的危害，若直接作用在車載電子系統(tǒng)及車載儀表上，這種大幅度波動產(chǎn)生的電壓沖擊往往會造成電子器件損壞，導(dǎo)致出現(xiàn)嚴重事故。

所以本系統(tǒng)在設(shè)計中考慮到12V供電電源要從車上引入時，添加一個保護電路確保整個系統(tǒng)電路的安全，如圖3．4：

圖3.4 12V保護電路

為確保TMS320DM642處理器穩(wěn)定工作必須對它的內(nèi)核和I／O端口分別進行獨立供電以減少電源之間的相互串擾，其內(nèi)核電壓為1．4V，I／O端口電源為3．3V。視頻編碼芯片TVP5150AMl數(shù)字電壓(AVDD)和模擬電壓(DVDD)輸入均為1．8 V，i／o端IZl電壓(DVDDIO)為3．3 V。

視頻編碼芯片SAATl21數(shù)字電壓(VDDD)和模擬電壓(VDDA)同為3．3V。GDRAM和FLASH工作電壓為3．3V。考慮整個系統(tǒng)的功耗，第一級的電壓轉(zhuǎn)換全部選用TI推薦的開關(guān)電源管理芯片TPS5430作為12V一5V的電壓轉(zhuǎn)換核心器件；選用兩片TPS54310參照其DataSheet對電路進行設(shè)計，分別為DSP提供內(nèi)核電壓1．4V和I／O端口電壓3．3V，其中3．3V電源也為系統(tǒng)中其他元器件供電。各部分電路設(shè)計如下所示：

圖3．5 TPS5430電源轉(zhuǎn)換電路12V-5V

TPS54310輸入的電壓為TPS5430經(jīng)過轉(zhuǎn)換輸出的5V電壓。一片TPS54310為

TMS320DM642提供內(nèi)核電壓，輸出電壓1．4V如電路圖3．9所示，另一片為TMS320DM642提供I／O端口電壓，輸出電壓為3．3V如圖3．6所示：

圖3．6 DM642外圍I／0端口電壓

在系統(tǒng)上電后，DSP內(nèi)核首先得到TPS54310電源芯片提供的1．4V穩(wěn)定電壓，然后第一片TPS54310的PV／RGD端口輸出一個使能電平(高電平)給第二片TPS54310的SS／EN端口舊引。這樣就保證了系統(tǒng)上電時DSP內(nèi)核首先獲得供電，IlO端口在內(nèi)核得到1．4V穩(wěn)定電壓后獲得3．3V供電，系統(tǒng)掉電過程中DSP內(nèi)核后于i／o端口電源掉電。這樣大大增加了芯片使用壽命和系統(tǒng)穩(wěn)定性。

2、FPGA及其他部分電源模塊設(shè)計

FPGA協(xié)處理器選用的是Xilinx的Spartan-3AN系列芯片，其型號為XC3S400AN。XC3S400AN處理器內(nèi)核電壓(VCCINT)為1．2V，輔助電源電壓(VCCAUX)為2．5V，i／o端口電壓為3．3V雎引。

板卡上其他芯片，如FPGA的配置芯片XCF02SV020C電源為2．5V和3．3V，TVP5150AMl電壓(AVDD、DVDD)為1．8V以及I／0端口電壓(DVDDIO)3．3V，SAA7121電壓為3．3V。

由于電源輸入12V經(jīng)過TPS54310和TPS5430等開關(guān)電源第一級轉(zhuǎn)換，所以之后的電壓轉(zhuǎn)換芯片都選用的是設(shè)計簡單、占用空間小的線性電源轉(zhuǎn)換芯片，如TLVlll7—1．2為FPGA內(nèi)核提供1．2V穩(wěn)定電壓、TLVlll7-1．8為TVP5150AMl提供1．8v數(shù)字電壓、TLVll7—2．5為FPGA的輔助電源和配置芯片電源。其電路設(shè)計如下圖3．7所示

圖3．7 FPGA及其他部分電源模塊

基于0V7960圖像傳感器的相機設(shè)計

下面對0V7960圖像傳感器核心部分電路設(shè)計進行簡單介紹。相機是否能正確輸出穩(wěn)定模擬信號，是相機部分設(shè)計的關(guān)鍵，必須采用輸出電壓紋波系數(shù)小的電源芯片和大量的濾波電容，濾波電容的擺放盡量靠近引腳，這樣就能夠輸出良好的模擬視頻圖像數(shù)據(jù)。圖像傳感器設(shè)計電路如圖3．8所示：

圖3．8 0V70960圖像傳感器外圍電路

三維智能全景監(jiān)控系統(tǒng)實踐應(yīng)用

針對本系統(tǒng)在車輛的三維全景監(jiān)控系統(tǒng)上進行了實踐和應(yīng)用。通過本系統(tǒng)進行視頻合成虛擬出來的監(jiān)控范圍內(nèi)有效區(qū)域的全景視圖效果，并利用三維圖像的形式進行顯示，提供更加真實的虛擬現(xiàn)場。同時，本系統(tǒng)還可以實現(xiàn)關(guān)鍵部位的自動尺度測量，在必要的時候，主動進行報警。其效果演示圖如下：

圖3 三維智能全景監(jiān)控系統(tǒng)在車輛監(jiān)控上的應(yīng)用效果圖