自亨利·福特首次引入裝配線系統以來，質量控制一直是制造中的一個關鍵因素。其理念是，質量可以通過大規模生產流水線來實現，只要每個人在生產過程中各盡其責。從那時起，我們顯然已經走了很長一段路。傳統的裝配線仍然以許多形式存在，盡管機器已經取代了許多手工過程。

然而，質量控制仍然是個問題。而且成本高昂：許多公司的質量相關成本高達銷售收入的15%-20%。在某些情況下，這些甚至可以達到總操作數的40%。歐盟委員會還估計，在某些行業，50%的生產可以由于缺陷而報廢;在復雜的生產線上，不良率可以達到驚人的90%。

對于制造商來說，最大的問題是，即使是生產過程或材料上的微小差異（肉眼看不見）也會使整個生產過程出現缺陷。當然，這些零件不會到達最終用戶由于廣泛的后期生產質量檢查。然而，依賴當前的（大部分是手工的）缺陷檢查實踐意味著，在發現缺陷之前，可以花費大量的成本來制造數以千計的產品。

從手動到自動光學檢查

如前所述，手工檢查產品、部件和組件可能是一個繁瑣而昂貴的過程。首先，她需要對品質管理檢查人員進行專業的培訓；其次，這種檢查可能導致生產/上市時間線出現瓶頸；第三，手工檢查不像產品那樣規模化——需要進一步培訓，以便有足夠的人員及時進行檢查。

由機器視覺驅動的自動光學檢查（AOI）取代了更麻煩、更容易出錯的手工檢查。新型AOI系統配備多攝像頭，從簡單的XGA（擴展圖形陣列）單元到高分辨率、數百萬像素的視頻傳感器。根據相機類型的不同，AOI系統既可以提供被檢物品的單色圖像，也可以提供被檢物品的彩色圖像，所捕獲的圖像可以跨越很廣的范圍，從僅有的數千個數據點到數百萬個數據點。

自動光學檢查的好處是多方面的：

這種系統能夠在制造過程中早期發現錯誤，并幫助確保產品在進入下一個制造步驟之前的提高質量。

AOI幫助收集用于改進生產線的歷史和生產統計數據。

它將有助于減少材料浪費，維修和返工成本，以及增加制造勞動力的時間和費用。

AOI系統可編程使用不同的技術進行質量保證和缺陷檢查，例如：

模板匹配：系統通過編程將獲得的項目圖像與完美制作的、無缺陷的項目圖像進行比較。系統首先了解產品某一部分的所有正確屬性，然后根據估計的標準評估產品的質量。

模式匹配：系統存儲好程序集和壞程序集的信息，比較和比較實際產品和可用模式。

統計模式匹配：在這種情況下，系統存儲多個產品和多個類型的缺陷的結果，這樣它就能夠在不標記錯誤的情況下為可接受的小偏差開綠燈。

自動化光學檢測系統已經成為質量控制的一個重大突破，在整個生產過程中提供了更準確和快速的檢測。然而，它仍然不是自動化缺陷檢查的頂峰。

通過結合人工智能和深度學習，不僅可以對已經生產的產品進行光學檢測圖像處理，還可以識別缺陷，隨著時間的推移，可以了解更多不同類型的缺陷（無需顯式編程）。最終，它的目標是進行預測分析，從而達到無錯誤的生產。

人工智能和深度學習如何能進一步改善視覺檢測過程

盡管自動化光學系統是一種強大的缺陷檢測方法，但它們仍然相對較慢、不準確且維護成本昂貴。隨著工業4.0的快速轉型。在美國，大多數公司都不能再浪費時間和資源在長期設置上。例如，由于AOI很難隔離（例如，光照、曲率變化、顏色等）的許多變量，最終的裝配驗證程序極其困難。雖然統計模式匹配可以幫助容忍一些變化的項目的外觀，復雜的表面紋理和圖像質量問題可以提出一些嚴重的檢查挑戰。

此外，機器視覺系統通常無法處理以下問題：

它們無法正確區分視覺相似部分之間的變化和偏差。

此外，他們還難以正確區分“功能”缺陷（幾乎總是導致拒收）和“外觀”缺陷（部件整體外觀的一些輕微問題，制造商認為這些問題并不重要）。

計算機視覺和基于深度學習的系統已經成為AOI系統的有力替代品，解決了上述缺點。

什么是計算機視覺？

計算機視覺是人工智能和機器學習的一個子領域，它基于特定的算法和其他方法，使計算機能夠理解數字圖像的內容。簡而言之，計算機視覺軟件試圖再現人類視覺的能力。

大多數計算機視覺工具的目標是解決兩個特定的任務：

對象分類：模型是在特定對象（例如缺陷圖像）的數據集上進行訓練的，然后它將新對象分類為屬于您的一個或多個訓練類別。

對象識別：對模型進行訓練，以識別對象的特定實例。例如，當它確定圖像中的兩個組件時，可以將其中一個標記為電路板，另一個標記為微控制器。

以下是計算機視覺的工作原理：

在本例中，解釋設備（計算機+軟件）是執行大部分工作的元素。模型在機器學習和深度學習技術的幫助下訓練，將傳入的視覺數據分解為像素，然后根據各種參數對其進行評估，并與數據集中的其他圖像進行比較，找到最佳的“匹配”，并對其進行有效的預測。

在這一點上，回顧一下什么是深度學習是很重要的。

“深度學習是機器學習的一個分支，強調通過提供一個例子來教計算機像人類一樣學習。”

與機器學習不同的是，深度學習模型不需要不斷地用明確的指令編程來分析數據。通常，這些模型只提供了一個包含大量相關信息的數據集和一些初始參數，以便對數據進行操作。他們可以攪亂這些數據，并自學預測哪個輸出（例如，分類）準確與否。

神經網絡和深度學習模型可以幫助克服當前AOI系統的局限性。

基于深度學習的缺陷檢查在評估復雜表面和檢測諸如劃痕或凹痕等外觀缺陷時尤其有效。此外，這些系統能夠更精確地檢查或根據某些項目的定義特征對其進行分類——即使這些特征以微妙但可接受的方式發生變化。

此外，當分析難以捕獲的視覺元素時，它們更具有適應性。Infopulse團隊最近與一家德國制造商共同開發的一個項目就是一個很好的例子。他們成功推出了一款物聯網設備，能夠捕捉和識別老式儀表上的數字，盡管7段LCD顯示器存在圖像缺陷，如凝視、白點、物體或人的反射等。為此，我們的團隊不得不構建一個卷積神經網絡（CNN），能夠在不到2秒的時間內捕獲并處理圖像，為客戶節省了大量手工數據采集的操作費用。類似的計算機視覺解決方案也可以用來分析不同類型的視覺缺陷。

計算機視覺算法和應用可以通過深度學習或機器學習來實現。后者通常更適合于執行與測量、測量和執行精確對準相關的評估。然而，深度學習系統可以極大地補充基于ml的系統，因為它允許將以前需要特定人類專業知識的視覺和聲音檢查計算機化。這項技術拓寬了計算機和照相機/傳感器能夠精確檢測的范圍。

基于深度學習的智能缺陷檢測應用

考慮涉及高價值制造業的行業的重要性——航空航天、汽車、建筑、醫療器械。零部件上的缺陷可以被證明是致命的。

同時，這些行業（就像許多其他行業一樣）面臨著更快“進入市場”的壓力，如果它們要保持競爭力并滿足客戶/客戶的生產期限的話。計算機視覺和深度學習可以證明是應對這些壓力的方法，同時還能確保零部件沒有缺陷。

以下是一些由不同行業的制造商執行的概念部署和技術證明的例子：

1.航空業

這不僅是一個滿足對飛機所有零部件生產要求和規格的問題，而且是一個在事后發現缺陷時代價高昂的延遲問題。

據波音公司稱，在2.6萬億美元的航空服務市場中，70%的份額用于質量和維護。考慮到僅2016年美國的機械問題就估計耗資超過5億美元，這應該不足為奇。此外，航班延誤（許多乘客滯留）約有三分之一與維修有關。

視覺檢測技術與DL相結合，可以將組件與規格進行比較，發現生產過程中的缺陷。除此之外，制造商還應滿足定期維護要求，以確保乘客安全，并遵循政府的指導方針。這些技術可以識別以下缺陷和問題：

腐蝕-計算機視覺系統可以在更短的時間內對各個部件進行檢查，并返回更徹底的檢查結果。

發動機內部部件的磨損-對發動機內部部件進行遠程目視檢查，以確保有效和安全的運行。

鋁板厚度（通過三維測量）-厚度計可以提供高精度，無損讀數對大型和復雜的鋁板;并將收集到的數據上傳到您的系統進行進一步的分析。

自動車輪檢查-接收有關飛機車輪疲勞裂紋的即時數據。通過使用由計算機視覺驅動的系統，操作人員不必浪費時間在冗長的檢查上，可以專注于手頭的其他工作。

葉片在制造或修理后的檢查-計算機射線照相和數字射線照相可用于檢查葉片的關鍵缺陷。因此，無需使用數字格式的化學品，就可以快速獲得圖像。后者可以進一步進行失效分析，并帶來精確的三維測量。

2.汽車行業

安全問題讓OEM和一級供應商夜不能寐。這是乘客的風險/死亡問題，也是公司聲譽的問題。最近，豐田同意支付13億美元的和解金，原因是一項缺陷導致汽車加速，即使司機試圖減速。美國有6人死于這種缺陷。

利用視覺檢查、人工智能和深度學習的認知能力，原始設備制造商可以更準確地分析和識別質量問題，甚至在問題發生之前就解決它們。隨著時間的推移，當他們熟悉更多類型的缺陷時，這些可視化的洞察和分析可以確定缺陷的嚴重程度。

一家領先的汽車制造商采用智能光學檢測解決方案來檢測金屬表面的劃痕和凹痕缺陷。對于人類檢查員來說，在光亮的表面上發現這樣的缺陷是極其困難的。傳統的機器檢查也沒有什么幫助，因為系統不能捕獲不可預測的凹痕或劃痕缺陷。另一個問題是，該系統必須由人類員工進行培訓，提供有缺陷部件的圖像，教會它分辨哪些部件是可以接受的，哪些部件是不可接受的。然而，公司一開始就有一個相當低的缺陷率，它花費了他們大量的時間和精力來收集一個小的可視化數據集來表示足夠的缺陷變化。最終，他們選擇了一個更“智能”的系統，并很快意識到采用后的好處如下：

降低66%的檢驗成本

假陽性率降低33%

假陰性率維持在1%以下

3.計算機設備制造業

自動光學檢測（AOI）曾經是制造業計算機設備的自然選擇，特別是由于對小型電路板設計的需求正在增長，而且在某些情況下，缺陷可能被證明是高度有害的。

除此之外，AOI還可以檢測到：

區域缺陷

組件偏移

焊料問題

外來材料

高度和體積缺陷

短路

安裝錯誤

當為AOI檢查設置規格和方差裕度時，它們要比人工檢查精確得多。然而，AOI系統仍然無法檢測到設備的“外觀”問題。

這就是為什么富士通實驗室一直在率先為電子行業開發支持人工智能的識別系統，并在質量、成本和交付方面報告了大量進展。通過遺傳編程，該公司的圖像識別系統實際上生成了檢測代碼，能夠產生幾乎100%的識別率。將該技術應用于生產現場，開發時間減少80%左右，識別率達到97%。

然而，不僅僅是高價值的制造可以使用自動化的視覺檢查和人工智能。考慮一下這兩個來自以消費者為基礎的行業的例子。

4.紡織行業

在某個時刻，我們所有人都買了衣服，發現里面貼著“被（某個數字）檢查過”的小標簽。這意味著人工檢查產品在縫紉、織造等方面的缺陷，并確定其符合公司的質量規格。顯然，這是一個代價高昂且容易出錯的過程。接受有缺陷產品的客戶必須經過退貨/換貨程序，這是公司不喜歡的。

自動視覺檢查的實現，以及DL功能，現在可以檢測紋理、編織、縫合，甚至顏色匹配的問題。當發現缺陷時，不僅可以將紡織品或產品從生產線上移除，而且還可以發現缺陷的根源，并在未來進行修復和預防。

同時，可以對這些系統進行微調，以接受更大范圍的容錯能力。例如，Datacolor的人工智能系統可以考慮過去由人工操作人員進行的視覺檢查的歷史數據，從而創建與視覺檢查樣本更接近的自定義公差。

紡織業最新的人工智能用例之一是創建一個檢測和測量織物褶皺的系統。目前織物起皺性能的測量大多是手工進行的，比較繁瑣。計算機視覺驅動的皺紋測量可以幫助制造商降低成本和時間所需的這一過程。

5.玻璃行業

這個行業經常面臨的問題之一是玻璃在生產過程中的缺陷——切屑、劃痕等。通常，當前的檢測方法會產生“假陽性”，例如水滴被識別為切屑。

通過自定義計算機視覺和人工智能模型的實現，可以消除這些類型的錯誤。在一個案例中，正確的缺陷識別為一家大型玻璃制造商在每條生產線上平均節省了3.6萬美元，總計每年節省近100萬美元。

結論

質量控制仍然是一個公司保持制造標準、客戶滿意度以及最終聲譽和利潤的主要因素。計算機視覺和深度學習在幾乎每個工業部門都具有巨大的質量控制潛力。如此之多，以至于大多數高管計劃在未來3年內將認知計算在運營優化方面的應用增加一倍。