導讀

高精度IC制造工藝需要對產品進行全方位檢測以保證工藝質量過關。友思特 Neuro-T 通過調用平臺的流程圖功能，搭建多類深度學習模型，形成了一站式的視覺檢測解決方案。本文將為您詳述方案搭建過程與實際應用效果。

在當今集成電路（IC）制造領域，特別是對于高精度要求的工藝流程，如半導體芯片生產，快速準確地檢測出缺陷至關重要，也有通過OCR識別芯片印刷字符從而明確缺陷芯片型號的需求。針對IC多類別視覺檢測的需求，常規方式需要一一部署視覺檢測模型，并編程實現多個模型的調度和交互邏輯。

友思特 Neuro-T 機器視覺軟件，通過平臺具備的流程圖（Flowchart）功能，鏈接多個不同的深度學習模型，一站式解決同一目標多個視覺檢測需求，并可以通過推理中心（Inference Center），模擬單/多模型部署的實際檢測效果。

友思特 Neuro-T 支持的深度學習模型類型

監督學習
分類		將圖像分類成不同類別或OK/NG組別 簡單分類目標缺陷的有無，精度高
實例分割		分析圖像中檢測到的物體形狀并圈選 準確識別并分割目標的缺陷區域，精度最高，適合占像素點少（低至10像素點）、形狀較簡單的目標
目標檢測		檢測圖像中物體的類別、數量并定位 識別和定位目標的缺陷區域，精度高，適合占像素點稍多、形狀較復雜的目標
OCR字符識別		檢測和識別圖像中的字母、數字或符號 預置預訓練模型，批量快速進行數據標注
旋轉		旋轉圖像至合適的方位 服務于其他類型的模型，提高其他模型的識別準確率
GAN 對抗生成網絡		學習圖像中的缺陷區域并生成虛擬缺陷 人工生成目標的缺陷圖像，彌補缺陷數據量不足的問題
無監督學習
異常 分類		在大量正常圖像和少量缺陷圖像上訓練以檢測異常圖像進行分類 分類目標缺陷的有無，精度高于分類模型（可設置異常閾值），主要適用于數據缺乏場景
異常 分割		在大量正常圖像和少量缺陷圖像上訓練以檢測異常圖像并定位缺陷位置 準確識別并分割異常目標的缺陷區域，精度略低于實例分割模型（可設置異常閾值），主要適用于數據缺乏場景

友思特 Neuro-T 流程圖

友思特Neuro-T的流程圖功能，在視覺項目的圖像標注和訓練的同時，提供直觀有效的UI組件，輔助項目流程的設計和梳理。通過鏈接多個不同的深度學習模型，平臺不僅可以對圖像中需要檢測的目標進行高效的聚焦和高精度的檢測，還可以同時執行不同的視覺任務，滿足用戶多樣化的視覺檢測需求。

以上圖為例，初始圖像內容包括平板以及三塊需要檢測的PCB對象，需要檢測三塊PCB的缺陷類型。該視覺檢測項目通過鏈接三個深度學習模型完成：

旋轉模型：檢測對象進入相機拍攝區域并不一定是同一姿態，通過旋轉模型自動將圖像旋轉至合適的朝向，以利于后面的圖像檢測分割以及分類檢測。

目標檢測模型：從圖像中檢測出需要檢測的PCB對象，并按實際檢測到的方框尺寸（也可以統一尺寸裁剪）來分割圖像，得到裁剪出來的三個PCB對象的圖像。

分類模型：對分割后的三個PCB對象的圖像分別通過目標分類模型，最終確認是屬于哪種缺陷類型（臟污、劃痕、孔洞）的PCB，并輸出和可視化結果。

友思特 Neuro-T 推理中心

友思特Neuro-T的推理中心，可以幫助用戶快速地驗證單個深度學習模型或多個深度學習模型鏈接之后的實際部署檢測效果，分別以統計結果和圖像檢測效果的形式呈現?？梢圆榭锤鱾€環節的檢測效果和統計結果，幫助用戶改進視覺檢測項目。最終可以分別導出單一的模型，自行設計模型推理邏輯，或包含多個深度學習模型以及他們之間的鏈接的單一流程圖模型，無需自行設計多個模型之間的交互邏輯，即可完成復雜的多需求的視覺檢測項目。

統計結果

圖像檢測效果

IC 視覺檢測方案

方案一

需求：檢測IC芯片是否有引腳缺失，檢測芯片表面字符印刷是否清晰，如清晰，進一步檢測字符。

字符檢測 引腳缺失檢測

檢測流程

（1）導入圖像集，標注，訓練，得到圖像中IC芯片的目標檢測模型。

（2）調用目標檢測模型，對IC芯片目標進行裁剪，得到只包含目標最小框的圖像區域的新數據集，起動態ROI的作用，排除其他內容干擾后續檢測結果。

（3）對上述得到的新數據集標注、訓練，得到IC芯片的旋轉模型，并通過該模型作用于原數據集，得到新數據集，其目的是將芯片旋轉至合適朝向，便于后續檢測，提高檢測準確率。

（4）對上述得到的新數據集標注，訓練，得到異常分類模型，將原數據集分類成“OK—字符印刷正?！焙汀癗G--字符印刷異?！眱蓚€新數據集。

（5）對于“OK”的數據集，進一步標注訓練，得到OCR字符識別模型，實現字符檢測的效果。

（6）對于“NG”的數據集，進一步標注訓練，得到實例分割模型，檢測并分割出“NG”芯片是否有引腳缺失以及引腳缺失的區域，實現引腳缺失檢測的效果。

方案二

需求：芯片是否引腳缺失，引腳缺失定位檢測

檢測流程

（1）導入圖像集。

（2）標注，訓練，得到圖像中IC芯片的目標檢測模型。

（3）調用目標檢測模型，對IC芯片目標進行裁剪，得到只包含目標最小框的圖像區域的新數據集，起動態ROI的作用，排除其他內容干擾后續檢測結果。

（4）對上述得到的新數據集只標注有引腳缺失的區域，訓練，得到另一個目標檢測模型。如果圖像中有檢測到引腳缺失的區域，則標記為NG；若無，則標記為OK。

部署推理效果圖（結合IDS相機）

友思特研發人員開發的視覺檢測軟件對接了我們的IDS相機和深度學習軟件。右邊功能區包括分類/分割/目標檢測/流程圖等6種深度學習模型的功能切換，以及IDS相機曝光和增益參數的調整，右上區域是檢測結果圖列表，可以右鍵保存到本地或回溯檢測結果。左邊大圖是檢測結果可視化，左下角小圖是相機捕捉的原始圖像，表格顯示的是檢測目標的相關信息，這里以置信度為例，也可以放置檢測框的坐標/類別等信息，扇形圖顯示的是圖中檢測對象的類型占比，可以根據具體需求調整要顯示的內容。輸出區域顯示的是程序運行的console。

友思特IC多類別視覺檢測方案

Neuro-T

Neuro-T 使用簡單的圖形用戶界面，通過自動優化深度學習模型結構和訓練參數來創建出性能最佳的模型，無需任何深度學習經驗，即可運行自己的深度學習項目。在系統中，Neuro-T 是用于訓練模型的核心工具。

Neuro-R

Neuro-R 可實現無縫整合訓練軟件創建的模型至支持各種環境和編程語言的運行時 API，其獨特性在于——不僅僅是簡單地傳遞模型推斷結果，還可以利用各種 API 以創造性的方式從多個模型生成結果，Neuro-R 是友思特缺陷檢測系統套裝的重要組成部分。

審核編輯 黃宇