前言

邊緣檢測是圖像處理和計算機(jī)視覺中，尤其是特征提取中的一個研究領(lǐng)域。有許多方法用于邊緣檢測，它們的絕大部分可以劃分為兩類：

基于一階導(dǎo)數(shù)

首先計算邊緣強(qiáng)度， 通常用一階導(dǎo)數(shù)表示， 例如梯度模，然后，用計算估計邊緣的局部方向， 通常采用梯度的方向，并利用此方向找到局部梯度模的最大值。

即：圖像一階導(dǎo)數(shù)中的最大和最小值來檢測邊界，通常是將邊界定位在梯度最大的方向。

一階:Roberts Cross算子，Prewitt算子，Sobel算子， Kirsch算子，羅盤算子；

基于 零穿越/零交叉 的一類：二階導(dǎo)數(shù)

基于零穿越的方法通過尋找圖像二階導(dǎo)數(shù)零穿越來尋找邊界，通常是Laplacian過零點(diǎn)或者非線性差分表示的過零點(diǎn)。

基于二階導(dǎo)數(shù)：Marr-Hildreth，在梯度方向的二階導(dǎo)數(shù)過零點(diǎn)，Canny算子，Laplacian算子。

一、邊緣檢測

為什么要進(jìn)行邊緣檢測呢？因為這是穩(wěn)定的視覺特征，是人類經(jīng)驗的結(jié)果。邊緣檢測的目的是標(biāo)識數(shù)字圖像中亮度變化明顯的點(diǎn)。圖像屬性中的顯著變化通常反映了屬性的重要事件和變化。主要包括：

深度上的不連續(xù)（物體處在不同的物平面上）；

表面方向不連續(xù)（如正方體的不同的兩個面）

物質(zhì)屬性變化（會導(dǎo)致光的反射系數(shù)不同）

場景照明變化（陰影）

那么，對于下面這張圖像進(jìn)行邊緣檢測時，沿著這條紅色的水平線，得到其每個像素點(diǎn)上的強(qiáng)度（也就是灰度值），由此可知邊緣就是在像素值發(fā)生突變的地方。那么如果從一個信號中找到突變的地方呢？

顯然，根據(jù)數(shù)學(xué)知識，對信號曲線進(jìn)行求一階導(dǎo)數(shù)，對于邊緣來說，并不需要關(guān)注方向，只需要關(guān)注極值即可，所以可以通過求導(dǎo)得到邊緣所在位置。

由此將這跟紅色的水平線從上至下滑動即可得到整個圖像的豎直方向上的邊緣。

對于一個二元函數(shù)f（x，y） ，響應(yīng)的的求導(dǎo)公式：

在圖像處理過程中，對于像素值的位置的最小單位是 1 px，因此令 ε=1 ，使用這種近似來作為點(diǎn)前位置的導(dǎo)數(shù)，則有：

其實由這個公式可以看出，就是右面一個像素減去左面一個像素，作為當(dāng)前位置的導(dǎo)數(shù)，這樣簡化之后其實就可以把這個過程使用卷積代替，即卷積核為：這就是檢測豎直方向上邊緣的卷積核。同理也可以得到水平方向上邊緣的卷積核。

那么接下來舉個例子，下面這兩個邊緣檢測結(jié)果哪個是水平方向卷積核檢測到的？

哪個是豎直方向卷積核檢測到的？因為只有水平卷積核檢測的是左右差異較大的像素值，自然而然連成線之后就是豎直方向的線條。

接下來，解釋一下梯度（一維叫導(dǎo)數(shù)，高維叫梯度），對于一副圖像的一個像素點(diǎn)

這個幅值越大說面這點(diǎn)附近像素值變化越劇烈，就越有可能是邊緣。

其實梯度對于一副圖像來說就是圖像變化劇烈的方向。而且梯度方向與邊緣是垂直的。

二、邊緣檢測流程

由于在實際應(yīng)用過程中信號的采集往往伴隨著噪聲的出現(xiàn)，假設(shè)有下面這么一個一維信號，很顯然邊緣就在突變的地方。但是由于真實點(diǎn)附近存在噪聲，如果直接使用邊緣濾波器（邊緣卷積）得到的結(jié)果會是什么樣？

顯然，通過邊緣檢測器之后得到導(dǎo)數(shù)（梯度）是無法確定極大值極小值的，因此無法判斷邊緣位置。所以，往往在進(jìn)行邊緣檢測前首先要進(jìn)行濾波。

這是因為邊緣檢測算子主要是基于圖像強(qiáng)度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)，但是通常情況下導(dǎo)數(shù)對噪聲十分敏感，因此必須使用濾波器來進(jìn)行平滑噪聲。

因此對于一維圖像f使用高斯卷積核 g進(jìn)行濾波，通過將f*g(卷積)得到的結(jié)果可以看出，最左邊和最右面為什么沒了呢？這就是因為卷積過程中如果不對邊界補(bǔ)充的話，卷積結(jié)果相比原來圖像會小一圈。

經(jīng)過高斯卷積之后的圖像就相對平滑很多，在這個基礎(chǔ)上再進(jìn)行邊緣檢測，得到結(jié)果如下。很顯然求極值就十分簡單了。

因此，我們在對圖像進(jìn)行邊緣檢測前首先用高斯卷積對圖像進(jìn)行平滑就是了，因為我們也無法確定圖像是否包含噪聲。

雖然上面這個過程實現(xiàn)了邊緣檢測，但是在這個過程中使用了兩次卷積，首先是濾波過程的卷積，然后是求導(dǎo)過程的卷積，顯然卷積是十分耗時的，那么能否使用一次卷積完成這個操作呢？

這個公式成立是因此卷積是滿足交換律，結(jié)合律和分配率的。所以使用右面的公式，先對高斯卷積核進(jìn)行求導(dǎo)，這個模板一般比較小，求導(dǎo)也相對簡單，然后再進(jìn)行卷積。這樣就能加速運(yùn)算過程了。

雖然，使用平滑對圖像進(jìn)行去噪，但是它也會模糊圖像，因此我們可以考慮在不同的scale下進(jìn)行邊緣檢測。

也就是選擇響應(yīng)的窗寬和標(biāo)準(zhǔn)差即可對圖像進(jìn)行平滑并邊緣檢測，由于窗寬一般默認(rèn)經(jīng)驗值3σ，因此只需要指定參數(shù)σ即可執(zhí)行這兩個過程。所以可以考慮使用不用的σ在不同的scale下進(jìn)行邊緣檢測。

因此，接下來對比重新認(rèn)識一下高斯卷積核與高斯一階導(dǎo)數(shù)核的區(qū)別：

高斯卷積核（smoothing filters）：高斯卷積實際上是濾除高頻信號，是低通濾波器，濾波器模板中的數(shù)值沒有負(fù)數(shù)，而且這些值相加和為1。

高斯一階導(dǎo)數(shù)核（derivative filters）：濾波器模板中的數(shù)值一定有負(fù)數(shù)，而且這些相加為0。

總結(jié)一下，對于一副圖像進(jìn)行邊緣檢測的流程

濾波

增強(qiáng)，增強(qiáng)算法可以將圖像灰度點(diǎn)鄰閾強(qiáng)度值有顯著變化的點(diǎn)凸顯出來。

邊緣檢測，經(jīng)過增強(qiáng)的圖像，往往鄰域中有很多點(diǎn)的梯度值比較大，而在特定應(yīng)用中，這些點(diǎn)并不是要找的邊緣點(diǎn)，所以應(yīng)該采用某些方法對這些點(diǎn)進(jìn)行取舍。實際工程中，常用的方法是通過閾值化的方法進(jìn)行檢測。

三、Canny邊緣檢測

對于這樣一張圖像進(jìn)行邊緣檢測時，首先第一步，對圖像進(jìn)行濾波處理，然后計算兩個方向的梯度，先計算每個像素點(diǎn)的梯度，然后計算幅值，得到下面這張圖像。

在進(jìn)行梯度計算時，梯度較大的地方可能是邊緣也有可能是噪聲，雖然已經(jīng)進(jìn)行過一次平滑濾波，但是仍然還會有一些高強(qiáng)度的噪聲無法濾除，因此在這里選擇使用閾值對其進(jìn)行第二次過濾，去除一些梯度相對較小的點(diǎn)。

然而經(jīng)過閾值處理后，還是會有一些小問題，就是圖像中的邊緣會很寬，這是由于圖像中的邊緣像素值都是緩慢變化的，不會是一個垂直的突變，即使原始圖像中的邊緣是一個垂直的突變，經(jīng)過高斯平滑之后它就會變得不那么垂直了，所以這就是為什么邊會那么寬。那如何解決呢？

接下來就介紹了一個著名的算法：NMS非極大值抑制。它的一個主要思想就是，首先確定邊上的一個點(diǎn)，然后沿著邊的梯度方向比較跟相鄰點(diǎn)的梯度進(jìn)行比較，也即是右圖中的q和Ρ，γ進(jìn)行比較。如果 q 最大則保留，如果不是則舍去。

經(jīng)過抑制以后：顯然這就細(xì)化了很多，但是也會存在一定的問題，比如脖子下面的邊緣消失了，出現(xiàn)了斷斷續(xù)續(xù)的情況，出現(xiàn)這種情況的原因是什么呢？

這是因為設(shè)置的閾值太高了，導(dǎo)致這部分梯度被濾除掉了，但是如果閾值設(shè)置的較低又會出現(xiàn)很多“假邊”，因此這里需要對剛剛設(shè)置閾值過濾這一步進(jìn)行改進(jìn)。

改進(jìn)的思路：就是使用雙閾值法，首先使用一個較高的閾值去將那些確定度較高的邊檢測出來，稱為“強(qiáng)邊”，然后再使用一個較小的閾值顯露更多的邊，稱為“弱邊”，此時選擇保留那些跟強(qiáng)邊有連接關(guān)系的邊。這個想法就很巧妙。

左邊是高閾值，中間是低閾值，右邊是雙閾值

關(guān)于Canny邊緣檢測是有嚴(yán)格意義上的數(shù)學(xué)推導(dǎo)的，這個后續(xù)補(bǔ)充一下！

審核編輯 ：李倩