導(dǎo)讀

本文通過(guò)全面綜述利用深度學(xué)習(xí)在工業(yè)圖像無(wú)監(jiān)督異常定位方面的最新成果，幫助該領(lǐng)域的研究人員快速入門。

中科院自動(dòng)化所、北京工商大學(xué)和印度理工學(xué)院等單位聯(lián)合發(fā)表最新的工業(yè)異常定位（檢測(cè)）綜述。20頁(yè)綜述，共計(jì)126篇參考文獻(xiàn)！ 本綜述將工業(yè)異常定位方法根據(jù)不同的模型/方法進(jìn)行分類和介紹，最新方法截止至2022年2月！同時(shí)，綜述還包括了在完整MVTec AD數(shù)據(jù)集上的性能對(duì)比，并給出了多個(gè)工業(yè)異常定位的未來(lái)研究方向！

論文題目：Deep Learning for Unsupervised Anomaly Localization in Industrial Images： A Survey

發(fā)表單位：中國(guó)科學(xué)院自動(dòng)化所、北京工商大學(xué)、印度理工學(xué)院

論文地址：https://arxiv.org/abs/2207.10298

1. 概要

目前，基于深度學(xué)習(xí)的視覺檢測(cè)在監(jiān)督學(xué)習(xí)方法的幫助下取得了很大的成功。然而，在實(shí)際工業(yè)場(chǎng)景中，缺陷樣本的稀缺性、注釋成本以及缺陷先驗(yàn)知識(shí)的缺乏可能會(huì)導(dǎo)致基于監(jiān)督的方法失效。近5年來(lái)，無(wú)監(jiān)督異常定位算法在工業(yè)檢測(cè)任務(wù)中得到了更廣泛的應(yīng)用。本文旨在通過(guò)全面綜述利用深度學(xué)習(xí)在工業(yè)圖像無(wú)監(jiān)督異常定位方面的最新成果，幫助該領(lǐng)域的研究人員快速入門。該綜述分析了120多份重要文獻(xiàn)，涵蓋工業(yè)異常定位的不同方面，主要涵蓋各種概念、挑戰(zhàn)、分類、基準(zhǔn)數(shù)據(jù)集以及所提及方法的定量性能比較。在回顧迄今為止的研究成果時(shí)，本文對(duì)未來(lái)的幾個(gè)研究方向進(jìn)行了詳細(xì)的預(yù)測(cè)和分析。本綜述為對(duì)工業(yè)異常定位感興趣的研究人員以及希望將其應(yīng)用于其他領(lǐng)域異常定位的研究人員提供了詳細(xì)的技術(shù)信息。

2. 異常定位的定義

什么是AL？

人類視覺系統(tǒng)具有感知異常的固有能力——人不僅可以區(qū)分缺陷圖像和非缺陷圖像，即使他們以前從未見過(guò)任何缺陷樣本，而且還可以很容易的指出圖像中那些位置存在異常。異常定位（AL，anomaly localization）被引入學(xué)術(shù)界也是出于同樣的目的，即教會(huì)機(jī)器以無(wú)監(jiān)督的方式“發(fā)現(xiàn)”異常區(qū)域。在深度學(xué)習(xí)方法中，“無(wú)監(jiān)督”意味著訓(xùn)練階段只包含正常圖像，沒(méi)有任何缺陷樣本。無(wú)監(jiān)督范式下的AL方法首先避免了收集異常或缺陷樣本的困難，這在監(jiān)督方法中是無(wú)法避免的；因?yàn)樵诠I(yè)場(chǎng)景中，沒(méi)有缺陷的正常圖像遠(yuǎn)遠(yuǎn)多于異常樣本。其次，在無(wú)監(jiān)督方法中可以消除監(jiān)督方法中訓(xùn)練樣本的標(biāo)記成本。最后，無(wú)監(jiān)督方法還避免了標(biāo)記偏差的影響，這在監(jiān)督方法中常見。由于訓(xùn)練數(shù)據(jù)只有正常類，因此可以將其稱為“半監(jiān)督”。然而，為了與大多數(shù)現(xiàn)有方法統(tǒng)一，我們?cè)谝韵聝?nèi)容中刪除了術(shù)語(yǔ)“無(wú)監(jiān)督”或“半監(jiān)督”，僅將其稱為AL。

AD和AL的區(qū)別：計(jì)算機(jī)視覺中異常檢測(cè)AD（anomaly detection）也常常被提及，離群點(diǎn)檢測(cè)或one class 分類是AD的其他術(shù)語(yǔ)。圖1展示了AD（anomaly detection）和AL之間的區(qū)別。AD是指在圖像級(jí)別將缺陷圖像與大多數(shù)非缺陷圖像區(qū)分開來(lái)的任務(wù)，只關(guān)注圖像類別，正常or異常。另一方面，AL也稱為異常分割，用于生成像素級(jí)異常定位結(jié)果，它不僅僅關(guān)注圖像類別，更關(guān)注異常的詳細(xì)位置。異常熱圖中的顏色越深，如圖1所示，該位置存在異常的可能性越大。

什么是異常？

一般來(lái)說(shuō)，工業(yè)領(lǐng)域中的異常通常指缺陷，這里不僅僅包括三傷（劃傷、碰傷和壓傷等），異色，亮痕等紋理變化的缺陷，而且有更為復(fù)雜的，需要進(jìn)一步邏輯判斷的功能缺陷。例如晶體管管腳是否插入到pin中，是否裝錯(cuò)，裝反或少裝。下圖第一行展示了MVTec AD數(shù)據(jù)集上的紋理缺陷，第二行展示了MVTec AD數(shù)據(jù)集上的功能缺陷。MVTec AD中大部分缺陷類型為紋理缺陷，少部分缺陷為功能缺陷，功能缺陷主要存在晶體管這個(gè)數(shù)據(jù)集中，因此這個(gè)數(shù)據(jù)集是MVTec AD15個(gè)數(shù)據(jù)集中最難檢測(cè)的。

上圖追溯了工業(yè)圖像的AL的歷史。大多數(shù)基于非深度學(xué)習(xí)的AL模型依賴于稀疏編碼［14，15］和字典學(xué)習(xí)［16］。自2017年以來(lái)，由于深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺領(lǐng)域的巨大成功，出現(xiàn)了越來(lái)越多的深度學(xué)習(xí)方法［19］。GAN模型［17，22］和AE重建網(wǎng)絡(luò)［18］首次用于深度AL模型。為了一致地比較AL的影響，MTVec公司提出了一個(gè)完整的工業(yè)AL數(shù)據(jù)集，也就是MVTec AD數(shù)據(jù)集［20］。后來(lái)，基于特征嵌入的模型變得更加有效和高效，成為流行的AL架構(gòu)。知識(shí)蒸餾［21，26］和預(yù)訓(xùn)練特征比較［23，25，30］是典型模型的示例。然后，將幾種基于自監(jiān)督學(xué)習(xí)的方法應(yīng)用于上述任務(wù)［24，29］。基于Flow的生成模型［28］和ViT模型［27］作為更好的方法也嵌入到AL網(wǎng)絡(luò)中。盡管AL研究的歷史很短，但它已經(jīng)發(fā)表了數(shù)百篇論文，我們綜合選擇了在著名雜志和會(huì)議上發(fā)表的有影響力的論文；這項(xiàng)調(diào)查側(cè)重于過(guò)去五年的主要進(jìn)展。由于MVTec AD數(shù)據(jù)集的提出，在過(guò)去的兩年內(nèi)，大量方法呈現(xiàn)井噴狀態(tài)被提出，該數(shù)據(jù)集的指標(biāo)也被刷到非常高，這一點(diǎn)可以從paper with code網(wǎng)站 （https://paperswithcode.com/sota/anomaly-detection-on-mvtec-ad）看出。

這篇綜述和以往綜述有什么區(qū)別？

文章中列出了與AD/AL相關(guān)的多項(xiàng)綜述，涉及早期非深度學(xué)習(xí)AD方法［6］、基于深度學(xué)習(xí)的AD方法［5，7-9］、有限的AL模型［10］或僅關(guān)注GAN的AD/AL［11］等領(lǐng)域的研究。然而，很少有綜述致力于完整和全面的異常定位AL方法。另一方面，大多數(shù)現(xiàn)有綜述僅僅關(guān)注圖像級(jí)分類的AD方法，該方法很容易忽略工業(yè)場(chǎng)景中的細(xì)微異常區(qū)域。此外，近五年來(lái)，所有方法已經(jīng)從圖像級(jí)比較（重建或生成）發(fā)展到特征級(jí)比較，也從簡(jiǎn)單的缺陷合成代理任務(wù)發(fā)展到基于對(duì)比學(xué)習(xí)的自監(jiān)督方法。我們的工作系統(tǒng)全面地回顧了無(wú)監(jiān)督人工智能的最新進(jìn)展。其中包括對(duì)該領(lǐng)域以前從未探索過(guò)的許多方面的深入分析和討論。特別是，我們總結(jié)和討論了解決各種問(wèn)題和挑戰(zhàn)的現(xiàn)有方法，提供了路線圖和分類，回顧了現(xiàn)有的數(shù)據(jù)集和評(píng)估指標(biāo)，對(duì)最先進(jìn)的方法進(jìn)行了全面的性能比較，并對(duì)未來(lái)的方向提出了見解。我們希望我們的綜述能夠提供新的見解和靈感，促進(jìn)深入了解AL，并鼓勵(lì)對(duì)本文提出的開放主題進(jìn)行研究。

3. 代表性方法的分類

我們將目前的方法分為5大子方法，并對(duì)每個(gè)子方法進(jìn)行了詳細(xì)的介紹和對(duì)比分析。在每個(gè)小節(jié)中，我們對(duì)其代表文章進(jìn)行了進(jìn)一步細(xì)分。然而，有些工作屬于不止一個(gè)類別。因此，我們利用文章中圖4的維恩圖劃分工作，重疊區(qū)域包括方法的交叉部分。

主要包括：

1）基于圖像重建的方法：這是最早出現(xiàn)的方法，也非常直觀，期待AE自動(dòng)編碼器能夠?qū)Ξ惓D像重建成正常圖像，然后重建圖像和正常圖像作差，得到定位結(jié)果。主要的改進(jìn)包括網(wǎng)絡(luò)結(jié)構(gòu)、隱空間和損失函數(shù)的改進(jìn)。該方法的問(wèn)題在于難以保證異常圖像中的異常區(qū)域被很好重建為正常，同時(shí)圖像中的正常區(qū)域重建的效果和輸入一致，這樣兩者作差的結(jié)果并不能完全代表異常區(qū)域。

2）基于生成網(wǎng)絡(luò)的方法：代表的方法就是VAE、GAN和Normalizing Flow （NF）。VAE中引入了類似CAM這種求梯度方式來(lái)判斷異常位置的方法。GAN主要是通過(guò)多個(gè)生成器和判別器的設(shè)置，來(lái)提升生成或重建的圖像效果。然而，GAN和VAE都缺乏對(duì)概率分布的精確評(píng)估和推理，這往往導(dǎo)致VAE中的模糊結(jié)果質(zhì)量不高，GAN訓(xùn)練也面臨著如模式崩潰和后置崩潰等挑戰(zhàn)。NF能夠較好的解決上述問(wèn)題，同時(shí)NF會(huì)和后面的基于特征的方法進(jìn)行結(jié)合，也是目前在MVTec AD上取得效果最好的方法。

3）基于深度特征建模的方法：主要包括知識(shí)蒸餾和特征建模兩大類。特別是特征建模，可以細(xì)分為很多小類，例如：KNN，SOM，高斯建模等，詳細(xì)的內(nèi)容可以見文章。

4）基于自監(jiān)督的方法：主要分為代理任務(wù)和對(duì)比學(xué)習(xí)。代理任務(wù)包括常見的重建、補(bǔ)全、相對(duì)關(guān)系預(yù)測(cè)和屬性修護(hù)等。

5）基于one-class分類的方法：這個(gè)方法主要是異常檢測(cè)AD采用的，如果將圖像劃分為滑動(dòng)窗口，所有的AD方法也適用于AL。此外，它也可以與前面4種方法相結(jié)合。

4. 實(shí)驗(yàn)評(píng)估和對(duì)比分析

數(shù)據(jù)集：準(zhǔn)確來(lái)說(shuō)常用于AL定位的數(shù)據(jù)集有三個(gè)：NanoTWICE、MVTec AD和BTAD。這三個(gè)數(shù)據(jù)集也是做AL論文中引用最多的。當(dāng)然還有一些有監(jiān)督的分割數(shù)據(jù)集也會(huì)被拿過(guò)來(lái)做評(píng)測(cè)，包括KolektorSDD、KolektorSDD2和MT Defect等。

MVTec AD數(shù)據(jù)集上的性能：文章中表10和11總結(jié)了目前AL方法（主要發(fā)布于2017至2021）在MVTec AD數(shù)據(jù)集上的性能。我們觀察到，大多數(shù)方法在AE的幫助下達(dá)到了基線性能。一些嘗試致力于設(shè)計(jì)更強(qiáng)大的模塊，如圖像修復(fù)和GAN生成網(wǎng)絡(luò)。例如RIAD方法，在MVTec AD數(shù)據(jù)集上的像素AUROC已達(dá)到94.2%［53］。然而，實(shí)驗(yàn)結(jié)果表明，這些純基于AE自動(dòng)編碼器的重建或生成方法很難在MVTec AD數(shù)據(jù)集上表現(xiàn)良好。

相比之下，基于深度特征嵌入的方法很快在AL中展示了它們的優(yōu)勢(shì)。過(guò)去論文中的結(jié)果表明，三種典型的特征比較方法，S-T［21］、SPADE［25］和DFR［84］，在MVTec AD數(shù)據(jù)集上分別實(shí)現(xiàn)了93.9%、96.5%和95.0%的像素AUROC。從通用特征建模方法［23］開始，當(dāng)引入更有效的策略時(shí)，基于特征嵌入的方法穩(wěn)步改進(jìn)，例如，將特征選擇引入半正交嵌入［87］、注意力策略［23，43］、帶內(nèi)存庫(kù)的KNN［30］、自組織特征［88］和對(duì)齊特征［92］。因此，在MVTec AD數(shù)據(jù)集上，大多數(shù)方法產(chǎn)生約93%的像素AUROC和91%的PRO分?jǐn)?shù)。

此外，CFLOW-AD［79］與一種新型的生成網(wǎng)絡(luò)相結(jié)合，性能優(yōu)于其他最先進(jìn)的模型，并實(shí)現(xiàn)了迄今為止MVTec AD上最好的像素AUROC。另一方面，MPAD［50］結(jié)合預(yù)先訓(xùn)練的功能，超越了其他最先進(jìn)的模型，并在MVTec AD上取得了迄今為止最好的PRO分?jǐn)?shù)。在這里，在文章中圖13中，我們展示了MVTec AD上四種典型特征嵌入方法的AL結(jié)果的可視化，包括STPM［81］、PatchCore［30］、PaDiM［23］和CFLOW-AD［79］。這些結(jié)果是使用Intel corporation維護(hù)的標(biāo)準(zhǔn)圖像庫(kù)Anomalib［125］獲得的。基于自監(jiān)督學(xué)習(xí)的方法可以從未標(biāo)記的圖像中學(xué)習(xí)視覺特征，并作為附加模塊嵌入到上述網(wǎng)絡(luò)結(jié)構(gòu)中。與原始的基于AE自動(dòng)編碼器的方法相比，這種方法，例如ANOSEG［98］、NSA［99］和DRAEM［29］可以獲得更好的結(jié)果。此外，與圖像重建或預(yù)訓(xùn)練特征相比，基于對(duì)比學(xué)習(xí)的方法［92107］由于異常區(qū)域的判別信息，表現(xiàn)出非常有競(jìng)爭(zhēng)力的性能。基于One class分類的方法通常耗時(shí)且定位結(jié)果不準(zhǔn)確，尤其是裁剪局部斑塊和提取單個(gè)局部特征的計(jì)算時(shí)間。然而，一些方法包括更復(fù)雜的特征比較過(guò)程，例如，patch-SVDD［24］和SE-SVDD［113］。

總之，基于深度學(xué)習(xí)的人工智能方法可以通過(guò)采用不同的策略在MVTec AD數(shù)據(jù)集上獲得相對(duì)滿意的結(jié)果。特別是，15個(gè)數(shù)據(jù)集中有3個(gè)數(shù)據(jù)集沒(méi)有被大多數(shù)方法克服；這些是瓷磚、木材和晶體管數(shù)據(jù)集。瓷磚和木材是典型的紋理數(shù)據(jù)集，包含多尺度和多類型的缺陷，目前主要方法未達(dá)到95%的AUROC。晶體管數(shù)據(jù)集具有包含高級(jí)語(yǔ)義信息的缺失缺陷類型，也就是功能異常。在該數(shù)據(jù)集中，它將所有缺失范圍視為ground-truth。因此，目前的主要方法也沒(méi)有達(dá)到理想的性能。

5. 未來(lái)的研究方向

功能異常：從上表中提到的優(yōu)缺點(diǎn)可以看出，許多方法的異常定位效果在某些特定數(shù)據(jù)集上顯著下降。例如，DFR［84］的缺點(diǎn)是晶體管數(shù)據(jù)集的性能較差（參見文章表6、10）。這是因?yàn)槲恼卤?0中顯示的大多數(shù)數(shù)據(jù)集是紋理缺陷，例如劃痕和凹痕，而非功能異常。功能異常違反了基本約束，例如，允許的對(duì)象位于無(wú)效位置或缺少所需的對(duì)象。在工業(yè)場(chǎng)景中，這兩種類型同等重要。目前，Bergmann等人［126］已經(jīng)提出了一種聯(lián)合檢測(cè)紋理和功能異常的方法。因此，對(duì)功能缺陷或異常的研究將是未來(lái)的一個(gè)重要方向。

發(fā)布豐富的AL數(shù)據(jù)集：與真實(shí)行業(yè)場(chǎng)景相比，公共異常位置數(shù)據(jù)集還不夠大或豐富。應(yīng)提供具有變化成像條件（如照明、透視、比例、陰影、模糊等）的更復(fù)雜數(shù)據(jù)集，以更客觀地評(píng)估AL算法的效果。現(xiàn)有的MVTec AD具有單成像、相對(duì)良好的圖像質(zhì)量和某些類別的對(duì)齊。一些現(xiàn)有的方法甚至利用這一特性來(lái)提高性能。盡管取得了有希望的結(jié)果，但這些方法無(wú)法適應(yīng)實(shí)際復(fù)雜的工業(yè)場(chǎng)景。因此，有必要擁有一些現(xiàn)實(shí)而豐富的工業(yè)數(shù)據(jù)集。

基于ViT的方法：基于ViT的方法由于其優(yōu)越的性能，目前在計(jì)算機(jī)視覺領(lǐng)域占據(jù)主導(dǎo)地位。還提出了一些基于ViT的工作［27、124、79］來(lái)解決AL問(wèn)題。ViT在長(zhǎng)距離特征建模中具有獨(dú)特的優(yōu)勢(shì)。綜合考慮多尺度異常區(qū)域是ViT可以改進(jìn)的方向。此外，AL的最佳框架是基于NF的生成模型。因此，ViT和NF的結(jié)合也一直是一個(gè)重要的方向。

有意義的模型評(píng)估：如文章中圖13所示，高像素AUROC值和精細(xì)的定位性能之間存在偏差，這可能會(huì)導(dǎo)致模型有效性問(wèn)題。許多方法仍然使用像素AUROC評(píng)估指標(biāo)，但AL的可視化結(jié)果表現(xiàn)并不佳，背景存在大量過(guò)檢，也就是異常被定位出來(lái)的效果很粗，缺陷的輪廓并不精細(xì)。建議未來(lái)的工作在建立模型時(shí)考慮精細(xì)邊界問(wèn)題，或選擇IoU度量進(jìn)行模型評(píng)估。

準(zhǔn)確的異常類型：實(shí)際工業(yè)場(chǎng)景中的異常類型多種多樣，不同異常類型的重要性不同。現(xiàn)有的AD/AL方法，僅僅給出缺陷這一單一類別或位置，無(wú)法得到詳細(xì)的缺陷類型，例如劃傷、異物、異色等，這個(gè)問(wèn)題挑戰(zhàn)了AD或AL的經(jīng)典范式，需要開發(fā)能夠區(qū)分異常類型的學(xué)習(xí)方法。已有方法［122］對(duì)異常類型進(jìn)行聚類，并將異常數(shù)據(jù)分組到語(yǔ)義一致的類別中，但這僅僅是一個(gè)開始。

無(wú)監(jiān)督三維異常定位：隨著三維傳感器的普及，工業(yè)場(chǎng)景中越來(lái)越多的缺陷檢測(cè)任務(wù)正在從二維場(chǎng)景轉(zhuǎn)移到三維場(chǎng)景。相應(yīng)地，三維場(chǎng)景中的人工智能也將成為一種發(fā)展趨勢(shì)。最近，MVTec公司在2021年底公開了一個(gè)3D AD/AL數(shù)據(jù)集［123］。因此，我們認(rèn)為3D AD/AL構(gòu)成了一個(gè)相關(guān)的未來(lái)方向。

審核編輯 ：李倩