機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統是指通過機器視覺產品(即圖像攝取裝置,分 CMOS 和CCD 兩種)將被攝取目標轉換成圖像信號,傳送給專用的圖像處理系統,根據像素分布和亮度、顏色等信息,轉變成數字化信號;圖像系統對這些信號進行各種運算來抽取目標的特征,進而根據判別的結果來控制現場的設備動作。
食品行業機器視覺系統
概述
機器視覺(Machine vision)
機器視覺系統的特點是提高生產的柔性和自動化程度。在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合,常用機器視覺來替代人工視覺;同時在大批量工業生產過程中,用人工視覺檢查產品質量效率低且精度不高,用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現信息集成,是實現計算機集成制造的基礎技術。正是由于機器視覺系統可以快速獲取大量信息,而且易于自動處理,也易于同設計信息以及加工控制信息集成,因此,在現代自動化生產過程中,人們將機器視覺系統廣泛地用于工況監視、成品檢驗和質量控制等領域。
基本構造
一個典型的工業機器視覺系統包括:光源、鏡頭、 相機(包括CCD 相機和COMS相機)、圖像處理單元(或圖像捕獲卡)、圖像處理軟件、監視器、通訊 / 輸入輸出單元等。
系統可再分為:主端電腦(Host Computer)、影像擷取卡(Frame Grabber)與影像處理器、影像攝影機、CCT鏡頭、顯微鏡頭、照明設備、Halogen光源、LED光源、高周波螢光燈源、閃光燈源、其他特殊光源、影像顯示器、LC機構及控制系統、PLC、PC-Base控制器、精密桌臺、伺服運動機臺。
機器視覺檢測系統采用CCD照相機將被檢測 的目標轉換成圖像信號,傳送給專用的圖像處理系統,根據像素分布和亮度、顏色等信息,轉變成數字化信號,圖像處理系統對這些信號進行各種運算來抽取目標的特征,如面積、數量、位置、長度,再根據預設的允許度和其他條件輸出結果,包括尺寸、角度、個數、合格 / 不合格、有 / 無等,實現自動識別功能。
工作原理圖
機器視覺系統的典型結構
照明
照明是影響機器視覺系統輸入的重要因素,它直接影響輸入數據的質量和應用效果。由于沒有通用的機器視覺照明設備,所以針對每個特定的應用實例,要選擇相應的照明裝置,以達到最佳效果。光源可分為可見光和不可見光。常用的幾種可見光源是白幟燈、日光燈、水銀燈和鈉光燈。可見光的缺點是光能不能保持穩定。如何使光能在一定的程度上保持穩定,是實用化過程中急需要解決的問題。另一方面,環境光有可能影響圖像的質量,所以可采用加防護屏的方法來減少環境光的影響。照明系統按其照射方法可分為:背向照明、前向照明、結構光和頻閃光照明等。其中,背向照明是被測物放在光源和攝像機之間,它的優點是能獲得高對比度的圖像。前向照明是光源和攝像機位于被測物的同側,這種方式便于安裝。結構光照明是將光柵或線光源等投射到被測物上,根據它們產生的畸變,解調出被測物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上,攝像機拍攝要求與光源同步。
鏡頭
FOV(Field Of Vision)=所需分辨率*亞象素*相機尺寸/PRTM(零件測量公差比)鏡頭選擇應注意:①焦距②目標高度 ③影像高度 ④放大倍數 ⑤影像至目標的距離 ⑥中心點 /節點 ⑦畸變
相機
按照不同標準可分為:標準分辨率數字相機和模擬相機等。要根據不同的實際應用場合選不同的相機和高分辨率相機:線掃描CCD和面陣CCD;單色相機和彩色相機。
圖像采集卡
圖像采集卡只是完整的機器視覺系統的一個部件,但是它扮演一個非常重要的角色。圖像采集卡直接決定了攝像頭的接口:黑白、彩色、模擬、數字等等。
比較典型的是PCI或AGP兼容的捕獲卡,可以將圖像迅速地傳送到計算機存儲器進行處理。有些采集卡有內置的多路開關。例如,可以連接8個不同的攝像機,然后告訴采集卡采用那一個相機抓拍到的信息。有些采集卡有內置的數字輸入以觸發采集卡進行捕捉,當采集卡抓拍圖像時數字輸出口就觸發閘門。
視覺處理器
視覺處理器集采集卡與處理器于一體。以往計算機速度較慢時,采用視覺處理器加快視覺處理任務。現在由于采集卡可以快速傳輸圖像到存儲器,而且計算機也快多了,所以現在視覺處理器用的較少了。
應用領域
機器視覺的應用主要有檢測和機器人視覺兩個方面:
1. 檢測:又可分為高精度定量檢測(例如顯微照片的細胞分類、機械零部件的尺寸和位置測量)和不用量器的定性或半定量檢測(例如產品的外觀檢查、裝配線上的零部件識別定位、缺陷性檢測與裝配完全性檢測)。
2. 機器人視覺:用于指引機器人在大范圍內的操作和行動,如從料斗送出的雜亂工件堆中揀取工件并按一定的方位放在傳輸帶或其他設備上(即料斗揀取問題)。至于小范圍內的操作和行動,還需要借助于觸覺傳感技術。
此外還有:(1)自動光學檢查(2)人臉偵測(3)無人駕駛汽車
機器視覺特點
1.攝像機的拍照速度自動與被測物的速度相匹配,拍攝到理想的圖像;
2.零件的尺寸范圍為2.4mm到12mm,厚度可以不同;
3.系統根據操作者選擇不同尺寸的工件,調用相應視覺程序進行尺寸檢測,并輸出結果;
4.針對不同尺寸的零件,排序裝置和輸送裝置可以精確調整料道的寬度,使零件在固定路徑上運動并進行視覺檢測;
5.機器視覺系統分辨率達到1600×1200,動態檢測精度可以達到0.02mm;
6.廢品漏檢率為0;
7.本系統可通過顯示圖像監視檢測過程,也可通過界面顯示的檢測數據動態查看檢測結果;
8.具有對錯誤工件及時準確發出剔除控制信號、剔除廢品的功能;
9.系統能夠自檢其主要設備的狀態是否正常,配有狀態指示燈;同時能夠設置系統維護人員、使用人員不同的操作權限;
10.實時顯示檢測畫面,中文界面,可以瀏覽最近幾次不合格品的圖像,具有能夠存儲和實時察看錯誤工件圖像的功能;
11.能生成錯誤結果信息文件,包含對應的錯誤圖像,并能打印輸出。
應用實例
1. 基于機器視覺的儀表板總成智能集成測試系統
EQ140-II汽車儀表板總成是我國某汽車公司生產的儀表產品,儀表板上安裝有速度里程表、水溫表、汽油表、電流表、信號報警燈等,其生產批量大,出廠前需要進行一次質量終檢。檢測項目包括:檢測速度表等五個儀表指針的指示誤差;檢測24個信號報警燈和若干照明9燈是否損壞或漏裝。一般采用人工目測方法檢查,誤差大,可靠性差,不能滿足自動化生產的需要。基于機器視覺的智能集成測試系統,改變了這種現狀,實現了對儀表板總成智能化、全自動、高精度、快速質量檢測,克服了人工檢測所造成的各種誤差,大大提高了檢測效率。
整個系統分為四個部分:為儀表板提供模擬信號源的集成化多路標準信號源、具有圖像信息反饋定位的雙坐標CNC系統、攝像機圖像獲取系統和主從機平行處理系統。
2. 金屬板表面自動控傷系統
金屬板如大型電力變壓器線圈扁平線收音機朦朧皮等的表面質量都有很高的要求,但原始的采用人工目視或用百分表加控針的檢測方法不僅易受主觀因素的影響,而且可能會繪被測表面帶來新的劃傷。金屬板表面自動探傷系統利用機器視覺技術對金屬表面缺陷進行自動檢查,在生產過程中高速、準確地進行檢測,同時由于采用非接角式測量,避免了產生新劃傷的可能。其工作原理圖如圖8-6所示;在此系統中,采用激光器作為光源,通過針孔濾波器濾除激光束周圍的雜散光,擴束鏡和準直鏡使激光束變為平行光并以45度的入射角均勻照明被檢查的金屬板表面。金屬板放在檢驗臺上。檢驗臺可在X、Y、Z三個方向上移動,攝像機采用TCD142D型2048線陳CCD,鏡頭采用普通照相機鏡頭。CCD接口電路采用單片機系統。主機PC機主要完成圖像預處理及缺陷的分類或劃痕的深度運算等,并可將檢測到的缺陷或劃痕圖像在顯示器上顯示。CCD接口電路和PC機之間通過RS-232口進行雙向通訊,結合異步A/D轉換方式,構成人機交互式的數據采集與處理。
該系統主要利用線陣CCD的自掃描特性與被檢查鋼板X方向的移動相結合,取得金屬板表面的三維圖像信息。
3. 汽車車身檢測系統
英國ROVER汽車公司800系列汽車車身輪廓尺寸精度的100%在線檢測,是機器視覺系統用于工業檢測中的一個較為典型的例子,該系統由62個測量單元組成,每個測量單元包括一臺激光器和一個CCD攝像機,用以檢測車身外殼上288個測量點。汽車車身置于測量框架下,通過軟件校準車身的精確位置。
測量單元的校準將會影響檢測精度,因而受到特別重視。每個激光器/攝像機單元均在離線狀態下經過校準。同時還有一個在離線狀態下用三坐標測量機校準過的校準裝置,可對攝像頂進行在線校準。
檢測系統以每40秒檢測一個車身的速度,檢測三種類型的車身。系統將檢測結果與人、從CAD模型中撮出來的合格尺寸相比較,測量精度為±0.1mm。 ROVER的質量檢測人員用該系統來判別關鍵部分的尺寸一致性,如車身整體外型、門、玻璃窗口等。實踐證明,該系統是成功的,并將用于ROVER公司其它系統列汽車的車身檢測。
4. 紙幣印刷質量檢測系統:該系統利用圖像處理技術,通過對紙幣生產流水線上的紙幣20多項特征(號碼、盲文、顏色、圖案等)進行比較分析,檢測紙幣的質量,替代傳統的人眼辨別的方法。
5. 智能交通管理系統:通過在交通要道放置攝像頭,當有違章車輛(如闖紅燈)時,攝像頭將車輛的牌照拍攝下來,傳輸給中央管理系統,系統利用圖像處理技術,對拍攝的圖片進行分析,提取出車牌號,存儲在數據庫中,可以供管理人員進行檢索。
6.金相分析:金相圖象分析系統能對金屬或其它材料的基體組織、雜質含量、組織成分等進行精確、客觀地分析,為產品質量提供可靠的依據。
7. 醫療圖像分析:血液細胞自動分類計數、染色體分析、癌癥細胞識別等。
8. 瓶裝啤酒生產流水線檢測系統:可以檢測啤酒是否達到標準的容量、啤酒標簽是否完整
9. 大型工件平行度、垂直度測量儀:采用激光掃描與CCD探測系統的大型工件平行度、垂直度測量儀,它以穩定的準直激光束為測量基線,配以回轉軸系,旋轉五角標棱鏡掃出互相平行或垂直的基準平面,將其與被測大型工件的各面進行比較。在加工或安裝大型工件時,可用該認錯器測量面間的平行度及垂直度。
10. 螺紋鋼外形輪廓尺寸的探測器件:以頻閃光作為照明光源,利用面陳和線陳CCD作為螺紋鋼外形輪廓尺寸的探測器件,實現熱軋螺紋鋼幾何參數在線測量的動態檢測系統。
11.軸承實時監控:視覺技術實時監控軸承的負載和溫度變化,消除過載和過熱的危險。將傳統上通過測量滾珠表面保證加工質量和安全操作的被動式測量變為主動式監控。
12. 金屬表面的裂紋測量:用微波作為信號源,根據微波發生器發出不同波濤率的方波,測量金屬表面的裂紋,微波的波的頻率越高,可測的裂紋越狹小。
總之,類似的實用系統還有許多,這里就不一一敘述了。
------------------------------
機器視覺技術資料集錦——讓機器視覺產品設計練就慧眼神通!
?
德州儀器(TI)3D機器視覺參考設計
3D機器視覺參考設計包含德州儀器的DLP結構光軟件開發工具套件。這種設計將結構光解決方案中的TI數字微鏡器件與攝像機、傳感器、電機或其他外設集成,為開發人員提供了一個構建運點的系統框架。
系統框圖:
主要特性和優點:
1.快速、可編程的圖像模式速率
(1)實時獲取運動物體的3D掃描數據
(2)使用自適應模式集,優化多個對象和環境的掃描速度和精度
2.使用可靠的MEMS反射微鏡進行數字切換
有效抑制系統對色彩、距離、運動和環境的敏感度,從而不受時間和溫度的影響,提升系統性能
主要參考器件;
1.DLP4500NIR:數字微鏡器件 (DMD)
DLP4500NIR 數字微鏡器件 (DMD) 可當作一個空間光調制器 (SLM) 來快速、準確、高效地操控近紅外 (NIR)光,產生所需圖案。 由于其在緊湊封裝尺寸內所特有的高分辨率,DLP4500NIR DMD 經常與一個單元件檢測器組合在一起,以取代昂貴的 InGaA 陣列檢測器設計,從而獲得高性能、經濟高效的便攜式解決方案。
DLP0.45 WXGA 芯片組結構
詳細資料:DLP4500NIR 0.45 WXGA 近紅外數字微鏡器件
2.TMS320DM8168:達芬奇數字媒體處理器
DM816x DaVinci? 視頻處理器是高度集成的、可編程平臺,它利用 TI 的DaVinci?技術來滿足下列應用的處理需求: 視頻編碼、解碼、轉碼和速率轉換、視頻安全、視頻會議、視頻基礎設施、媒體服務器、和數字標牌。憑借全集成化混合處理器解決方案所具有的極大靈活性,該器 件使得 OEM 和 ODM 制造商能夠將擁有穩健的操作系統支持、豐富的用戶界面以及高處理性能的設備迅速投放市場。 此器件將可編程視頻及音頻處理與1 個高度集成的外設集組合在一起。
TMS320DM8168達芬奇數字媒體處理器功能框圖
該器件的關鍵之處在于多達 3 個高分辨率視頻和成像協處理器 (HDVICP2)。 每個協處理器能夠執行一個單個 1080p60 H.264 編碼或解碼、或者多個較低分辨率或幀速率的編碼和解碼。 另外,也可完成多通道 HD 至 HD 或 HD 至 SD 代碼轉換以及多重編碼。 憑借可同時處理 1080p60 數據流的能力,TMS320DM816x 器件成為了一款適合當今苛刻的 HD 視頻應用要求的強大解決方案。
3.DLPC300:0.3 WVGA 數字控制器
DLPC300 數字控制器, DLP 0.3 WVGA 芯片組部件,支持 DLP3000 DMD 的可靠運行。 DLPC300 控制器還在用戶電子器件和 DMD 間提供一個便捷的、多功能接口,此接口可實現高速模式速率(高達 4kHz 二進制數)并提供 LED 控制和用于多重輸入分辨率的數據格式。 DLP300 還輸出一個觸發信號來實現與一個相機、傳感器,或者其它外設的顯示模式同步。
DLPC300 0.3 WVGA 數字控制器功能框圖
DLPC300 控制器可將 DLP 0.3 WVGA 芯片組集成至小尺寸封裝以及低成本光定向應用。 0.3 WVGA 芯片組的實例末端設備包括 3D 掃描或者計量系統,此系統具有結構化燈光、交互式顯示、化學分析儀、醫療器械,和其它要求空間光調制(或者光定向和光構圖)的末端設備。
Xilinx用于工業自動化的機器視覺解決方案
當前工業工廠自動化需要機器視覺來快速準確檢測檢查生產線,確保高質量控制。這些穩定可靠的系統需要從簡單線路到 10 兆像素傳感器的各種圖像及輸出協議。Xilinx All Programmable 解決方案與 Zynq?-7000 All Programmable SoC 平臺支持各種機器視覺接口,如 GigEVision、基于 LVDS 的 CameraLink 以及新興 USB3 技術等。單芯片處理技術可提供高度靈活的 IO 結構,而雙核 Cortex A9 處理器則支持分析與系統軟件。
Xilinx 智能解決方案不僅包括 All Programmable FPGA 和 SoC,而且還含有一系列可定制的 SmartCORE 和 LogiCORE IP 核,能夠充分滿足您獨特的市場需求。Xilinx Vivado? Design Suite配合高度集成的開發工具流程,并采用 OpenCV 庫、Vivado 高層次綜合和 IP Integrator,與 AISC 和 ASSP 解決方案相比,可更加快速靈活地向市場推出最具差異化的產品,同時降低風險和擁有成本。
下圖主要演示圖像處理、分析、定制 IP 以及高靈活機器視覺接口在單芯片上的集成實例, 其可大幅降低材料清單成本,顯著提高系統性能。
主要特性:
高分辨率 VGA 至500 萬像素傳感器
改變分辨率支持 5-120 fps
圖像信號處理
寬動態范圍
智能視頻分析
低資源占用 H.264 編碼
靈活的視頻輸出接口
Xilinx多協議機器視覺攝像機參考設計
可利用 Artix-7 FPGA 和 Xilinx 機器視覺合作伙伴 Sensor to Image 的 IP 實現多標準的可擴展攝像機平臺,與之前的工業攝像機設計相比,其具有最佳的功率性能、最低的功耗和更低的總體 BOM 成本。
1.解決方案概述與優勢
MicroBlaze? 32 位處理器作為機器視覺攝像機軟件和通信棧的主機,可充分支持 GenICam 標準
高速串行收發器支持 Coaxpress 要求的 6.25G 以上的速度
面向任意機器視覺接口標準的可重編程平臺,借助合作伙伴 Sensor to Image 使用解決方案支持所有協議
最高性能的低端 FPGA 架構
低功耗 28nm 技術有助于滿足攝像機功耗預算和熱約束
提供 10 x 10mm 的小型創新封裝選項,滿足小尺寸攝像機要求,無需 PCB 微過孔即可實現。
多協議機器視覺攝像機方案框圖
?
2.IP 核
機器視覺連接 IP (Sensor to Image)
色度重采樣 LogiCORE IP
色彩校正矩陣 LogiCORE IP
色彩濾鏡矩陣 LogiCORE IP
色彩空間轉換引擎 LogiCORE IP
解交錯掃描 LogiCORE IP
Gamma 校正 LogiCORE IP
Xilinx 視頻與圖像處理包
3.參考設計、開發板和套件
Xilinx Zynq 視頻與圖像套件
Xilinx Zynq?-7000 All Programmable SoC 視頻和影像套件建立在 ZC702 評估套件的基礎之上,包含開發定制視頻應用所必須的硬件、軟件以及 IP 核。 視頻 I/O FMC 卡(支持 HDMI 和圖像傳感器輸入)和視頻目標參考設計使開發人員可以立即啟動軟件、固件和硬件開發工作。
主要性能和優勢
使用 Zynq-7000 SoC 對嵌入式應用進行快速原型設計以實現優化
硬件、設計工具、 IP、以及預驗證參考設計
演示嵌入式設計,面向視頻通道
與 1GB DDR3 元件存儲連接的高級存儲接口
實現 USB OTG、 UART、 IIC、 和 CAN 總線的串行連接
支持包含 Dual ARM Cortex-A9 核處理器的嵌入式處理
使用 10-100-1000 Mbps Ethernet (GMII、 RGMII 和 SGMII?) 的開發網絡應用
使用 HDMI 輸出實現視頻顯示應用
擴展 I/O, 包含 FPGA Mezzanine Card (FMC) 接口
Zynq-7000 AP SoC 智能驅動平臺
Lattice USB 3.0 視頻橋接解決方案
Lattice USB 3.0視頻橋接開發套件是由Mikroprojekt設計,采用了Lattice ECP3TMFPGA系列,是一款可立即投產的高清視頻捕捉和轉換系統。結合Lattice的“視頻-USB3”橋接參考設計以及 Mikroprojekt的USB 3.0 UVC視頻類固件,該套件開箱即用,可方便地在帶有USB 3.0的Windows、MacOS或Linux操作系統上進行演示。開發板可作為標準的視頻捕捉設備與任何商業或開源的軟件一起使用。
該解決方案基于Lattice ECP3,支持高速接收視頻與音頻數據,并打包成USB 3.0 UVC和UAC數據幀,無需使用外部存儲器緩存。Cypress EZ-USB FX3 USB 3.0接口提供5GB的視頻流連接至主機USB端口。Analog Devices ADV7611提供HDMI 1.4a捕捉功能(帶有可選的HDCP解碼),Lattice三速SDI PHY可通過LatticeECP3 SERDES接口接收專業音頻和視頻信號。擴展連接器允許攝像機或傳感器通過MIPI CSI-2或SubLVDS差分線路互連,迅速將開發板轉換成適用于工業視覺應用的USB 3.0高清攝像機。
該套件向專業視頻設備制造商提供了可立即投產的USB 3.0視頻捕捉和轉換系統解決方案,可快速進行評估和樣機開發。套件內包含用戶可用的原理圖和布局文件,可實現簡單的定制。
重要特性和優勢
1.可立即投產的USB 3.0視頻橋接參考設計
2.通過USB 3.0傳送1080p 60 fps視頻流
3.HDMI 1.4a音頻和視頻捕捉
4.SD-、HD-、3G-SDI音頻和視頻捕捉
5.支持通過外部MIPI CSI-2、SubLVDS或并行傳感器捕捉視頻
6.參考設計提供快速的USB 3.0 UVC和UAC數據打包可在多種標準平臺(Windows、MacOS、Linux)上即
7.插即用的視頻捕捉設備可用的完整參考設計、原理圖和相關文檔
硬件特性如下圖:
Lattice ECP3的FPGA解決方案框圖:
目標應用
圖像采集卡
DVR、轉碼系統
視頻編輯系統
監控
工業視頻系統
機器視覺
USB 3.0攝像機
飛思卡爾機器視覺與智能攝像頭解決方案
高分辨率數字攝像頭在許多現代工業和商業領域中正變得越來越普及。裝配生產線可以使用攝像頭來控制機械手和機械,檢驗半導體芯片、汽車和藥材等復雜產品;零售業可??以使用攝像頭來監控入口及收集智能數據。
隨著攝像頭生產技術、產品復雜性和分辨率的提高,這些應用的要求也不斷增長。機器視覺解決方案需要針對日益龐大的數據上運行復雜的圖像處理算法,同時滿足嚴格的實時處理限制。
飛思卡爾高性能多核DSP處理器憑借其行業領先的DSP內核、高帶寬I/O選項和可擴展解決方案選項,解決了機器視覺和智能攝像頭圖像處理的難題。
機器視覺與智能攝像頭發方案框圖
推薦解決方案
1.數字信號處理器(DSP)
MSC8256: 高性能六核DSP
MSC8256采用業內性能最高、基于StarCore技術的DSP內核,旨在支持當今醫療成像、航空國防和高級測試與測量市場中高性能行業應用的高級 處理要求和功能。它提供了行業領先的性能和節能,在高度集成式片上系統(SoC)中采用45 nm工藝技術,達到與6 GHz單核器件同等的性能。MSC8256可幫助設備制造商創造出在更小尺寸的硬件內集成更多功能的最終產品和服務。
MSC8256 DSP具有較高的性能和集成度,整合了6個完全可編程的增強型SC3850內核,每個內核的運行頻率高達1 GHz。根據獨立評估,SC3850 DSP內核每MHz的處理能力比最接近的DSP競爭產品高40%。基于高性能內部RISC的QUICC Engine子系統支持多種聯網協議,從而保證在分組網絡上可靠地傳輸數據,同時大幅減輕DSP內核的處理負載。
MSC8256結構框圖
2.處理器(MPU)
P1010: 帶有可信架構的QorIQ P1010/14低功耗通信處理器
P1010和P1014通信處理器讓成本和功耗敏感的應用也獲得QorIQ的性能。這款處理器采用45納米低功耗技術,運行頻率高達800 MHz,功耗低至1.1W,具有強大的集成能力并配有豐富的接口,適用于對成本敏感的端點應用,如NAS、DVR、SOHO路由器和聯網工廠自動化等。
P1010處理器采用可信架構平臺,具有先進的端到端代碼簽名和入侵防御功能,有助于防止軟件入侵和軟件克隆攻擊。P1010處理器還集成多個FlexCAN控制器,可在各種工廠自動化系統中配置工業協議。
QorIQ P1010/14低功耗通信處理器結構框圖
詳細資料:P1010: 帶有可信架構的QorIQ P1010/14低功耗通信處理器
3.電機驅動器
4.電源管理
相關文章:
評論