人臉識別作為一種生物特征識別技術具有遼闊 的應用E,尤其集中體現在身份認證、安防監控和 人機交互等方面。
常見的人臉識別算法包括基于特征臉(PCA) 的方法⑵、基于線性分析(LDA)的方法同、基于 局部二值模式(LBP )的方法囹、基于神經網絡(NN )[5] 的方法等等。其中卷積神經網絡(Convolutional Neural Network, CNN )模型中,其超參數通過傳統 的梯度下降法和自帶的網絡模型進行學習。
AlexNet[6] 網絡主要突出在圖像的分類上;R-CNN ( Regions with CNN)卩]成功獲得對目標檢測區域的特征提 取。圖像的端到端語義分割在全卷積網絡(Fully Convolutional Network, FCN )兇上得到了廣泛的應 用,提高了傳統的語義分割算法的準確性。AlexNet 網絡有8層,其中,conv層有5個,FC層有3個, FC8層也稱為分類層,參數量大于60 Mo分類層的 輸出具備1 000個輸出的歸一化指數函數回歸模型。
本文設計了一種7層卷積神經網絡模型結構, 應用于ORL人臉數據庫的人臉識別。7層卷積神經 網絡采用整流線性單元激活函數(以下稱為ReLU ) 和固定學習速率。
卷積神經網絡的設計
1.1 AlexNet在人臉識別領域的應用
Alexnet網絡利用ReLU激活功能作用于每個卷 積層和完全連接層,并且局部響應歸一化層連接在 第一個卷積層和第二個卷積層之后。卷積1層,卷 積2層和卷積5層的輸出上均與最大池化層相連接。AlexNet (后文稱為原網絡)的基本架構如圖1所示。

圖1 AlexNet結構圖
本設計使用ORL人臉數據庫的新卷積神經網 絡結構模型進行訓練;對于訓練過程中發生的過擬 合問題,Hinton提出了 “Dropout”方法,即在網絡 學習的時候以固定的(概率),通常 設置為0.5,再把輸入層或者隱藏層的神經元輸出 設置為0,這個神經元沒法連續正向傳播和誤差反 向傳播,但在測試時,p乘以輸入層或者隱層的神 經元輸出作為該層的輸出。由于網絡中每個輸入圖 像神經元被隨機設置為0,因此需要要求圖像中最 基本的特征是由隱藏層神經元提取,采用“Dropout” 解決過擬合問題。
1.2 AlexNet 的改進
本文網絡的模型結構如圖2所示。

圖2本文網絡的結構圖
(1)用7x7和5x5的兩個小卷積核替 代原來的11x11的大卷積核,為了保證原結構 maxpooll (第一最大池化層)的輸出不發生變化, Convl-1 (第一卷積層的第一卷積核)、Convl-2 (第 一卷積層的第二卷積核)個數保持不變,并對其進 行補充操作。后面的模型結構圖和原網絡相同,原 來的FC8層變為FC7層,具體參數如表1所示。
表1 Conv1-1和Conv1-2具體參數

(2 )在激活函數與池化層之間刪除LRN層。
(3)本文網絡模型減少了 1層(FC7層), 第一層變為兩個小卷積模塊形式。其中改進層具體 參數變化如表2所示。
表2原網絡和本文網絡參數對比

1.3 人臉圖像的預處理
人臉原圖片的尺寸是112 x 92,標準化變為256x256的人臉,就可以隨機在標準化后的圖片上裁剪一個227x227的圖像來訓練,并橫向的進行翻轉、平移等-系列的操作來拓展數據集大小。0RL人臉數據庫的樣例如圖3所示。

圖3 ORL人臉數據庫樣例
對ORL數據庫做以下處理:
(1)將數據庫中的訓練集、驗證集、測試 集的比例設置為3:1:1,然后再把ORL中圖片 標準化大小,如圖4所示,經cvResize函數將原圖 112x92 標準化 256x256。

圖4 人臉標準化過程
(2)將訓練集、驗證集、測試集的40個人分 別分為40類制作標簽,放到40個編號0?39的文 件夾內。
(3 )制作標簽txt文件。
(4)轉換Imdb格式的數據集。
(5)訓練集均值文件。
至此,人臉圖像的預處理結束。
網絡的訓練和測試
本文利用批量隨機梯度下降的方式,準確率提 升得更快。對于ORL人臉數據庫原網絡和本文網絡 的網絡訓練,最大迭代次數均為10 000,批處理圖 片大小分別為4個和8個,動量均為0.9,常數因子 均為0.1 (本實驗由于最大迭代次數和步長設置相同, 所以此參數可以忽略),初始權值均為0.000 5,步 長均為10 000,初始學習速率均為0.000 1,均為訓練1次測試一次,訓練1 000次存儲一個模型。每 次訓練網絡,更新的參數都會遍歷它的批處理量。更新公式為:

實驗與結果分析
AlexNet網絡和本文網絡通過迭代次數找到最 適合ORL人臉數據庫的網絡模型。本設計的測試 集的識別率只是通過網絡模型測試人臉數據的優劣 性,最終的識別率是全部樣本的識別率。同時通過 比較各個集合的損失值得出網絡模型在保留盡可能 多的人臉信息的前提下保證其識別率的準確性。
3.1 卷積神經網絡的人臉識別
AlexNet網絡的迭代次數取為1 000 ~ 10 000), 本文網絡的迭代次數取為(1 000 ~ 10 000)用這些 模型進行人臉識別的測試來比較它們的損失值和識 別率。
圖5表示出對應于ORL中的原網絡和本文網 絡的迭代次數的訓練集成本函數損失。

圖5 原網絡和本文網絡訓練集損失曲線
由圖5可以看出本文網絡只有在迭代2 000、3 000、3 500、4 000、4 500、4 800、9 400、9 600 次的時候訓練集損失的值要比改進前的網絡高,其余的時候遠遠低于原網絡,最后趨于零達到平穩。
圖6顯示于ORL中原網絡和本文網絡的迭代 次數的驗證集成本函數損失

圖6 原網絡和本文網絡驗證集損失曲線
由圖6可以看出驗證集本文網絡在迭代1 000 次、2 200次、9 500次、9 700次的時候損失值比 原網絡損失值高,其余的時候均比原網絡損失值低, 最后趨于零達到平穩。
圖7顯示了對應于ORL中原網絡和本文網絡 的迭代次數的測試集成本函數損失。

圖7 原網絡和本文網絡測試集損失曲線
由圖7可以看出本文網絡下降的速度比原網絡 下降的快,在迭代5 000次之后,基本趨于穩定, 雖然在迭代8 000-9 500次的時候損失值略高于原 網絡,但是原網絡的損失值一直在上下震蕩,最后 本文網絡的損失值收斂在0.1附近。
圖8顯示了 ORL中原網絡和本文網絡的迭代 次數樣本集成本函數損失。

圖8原網絡和本文網絡樣本集損失曲線
圖8和圖7的曲線類似,不同的是圖8的樣本 集損失值一直處在原網絡的下方,最后樣本集的損 失值也收斂在0.1附近。圖9顯示了 ORL人臉數據庫中原網絡和本文 網絡迭代次數訓練集的準確率。

圖9原網絡和本文網絡驗證集對訓練集測試的準確率曲線 由圖9可以看出本文網絡驗證集對訓練集的準 確率的上升速度比原網絡快,并且在迭代6 000次 之前都是穩步上升的,而迭代6 000次之后原網絡 上下強烈震蕩,本文網絡減小了震蕩,在97.5%的 時候趨于平穩。圖10顯示了 ORL人臉數據庫原網絡和本文網 絡迭代次數中每次迭代的測試集識別率。

圖10原網絡和本文網絡測試集識別率曲線由圖10可以看出在迭代6 000次之前,原網 絡和本文網絡對測試集的識別率均穩步上升,其 中原網絡識別率最高為97.5%,而本文網絡識別率 最高為98.75%。但在迭代6 000次之后原網絡發 生強烈震蕩,本文網絡也略微下降,在迭代8 000? 9 200次的時候略低于原網絡測試集的識別率,本文 網絡隨后繼續上升直到識別率為96.25%的時候趨于 穩定。圖11顯示了 ORL原網絡和本文網絡迭代次數 的樣本集識別率。

圖11原網絡和本文網絡樣本集識別率曲線圖11和圖10基本相似,不同的本文網絡的 樣本集識別率幾乎一直在原網絡樣本集識別率之上 (除了迭代9 000?10 000次)。其中,原網絡對樣 本集的最高識別率為98.75%,本文網絡對樣本集的最高識別率為99%。原網絡和本文網絡對全部樣本的識別率分別在98.5%和98.75%達到平衡。綜上所說,本文網絡損失曲線和識別率曲線要比原網絡損失曲線和識別率曲線震蕩減小趨于平穩,達到的實踐效果更好。測量對于相應的人臉數據庫訓練集和測試集的每個模型的正確識別率,結果如表3、表4所示。

? ? ? 由上述表格的數據得到,原網絡最佳的模型AlexNet網絡的_iter_9000;本文最佳的網絡模 型本文網絡的_iter_6000;本文人臉的識別率是以 測試集的識別率為準,本文網絡的人臉識別率比原 網絡高1.25%,在一定程度內能提高識別率的收斂速度。3.2 AlexNet網絡的模型和本文網絡的模型與其他算法的比較傳統人臉識別算法的識別率如表5所示。表5傳統算法ORL人臉數據庫的正確識別率(% )

AlexNet網絡結構模型對ORL人臉數據庫的 識別率是97.5%,樣本識別率是98.75%。而本文網絡結構模型對ORL人臉數據庫的識別率達到 98.75%,樣本識別率是99%。表6是本文設計的網 絡與傳統算法在ORL人臉數據庫識別率的對比。從 中可以得出結論,本文所設計的網絡對ORL人臉數 據庫中的識別率提高1.25%,樣本識別率提升0.25%。3.3 實驗總結本文提出了一個7層網絡應用于0RL人臉數 據庫的人臉識別,提高了 AlexNet網絡中的超參數 的批處理量,在迭代次數很小的時候就達到飽和程 度,發現訓練的收斂程度更快,驗證的準確率更高。從訓練集、驗證集、測試集的損失曲線可以看出本 文網絡損失更少,并且訓練出的模型測試人臉的識 別率為98.75% (比原網絡提高1.25%),所有樣本 的識別率可以達到99% (比原網絡提高0.25% ), 人臉識別的準確率相對有所加強。同時對人臉數據 的損失值和識別率曲線的振蕩問題進行了改進,結 果趨于穩定。
結 語
隨著深度學習的熱潮和人工智能的推進,人臉 識別的應用已經進入各行各業,而對人臉識別的準確性也將成為一個探究的課題。本文針對AlexNet 網絡方法的參數訓練過程提出了新型網絡算法,經 試驗證明有優良的性能,它逐層的準確度匹配程度 也得以逐漸加快,從而達到識別結果精確。
引用本文:趙遠東,劉振宇,柯麗等?人臉識別中AlexNet網絡設計和改進方法研究[J]。通信技術, 2019, 52 (03) : 592-598.
作者簡介 》》》
趙遠東,碩士研究生, 主要研究方向為視覺伺服信息處理、深度 學習、圖像處理、人臉識別;
劉振宇,博士,教授, 博士研究生導師,主要研究方向為視覺伺 圖像處理與模式識別;
柯 麗,博士,教授,博士研究生導師, 主要研究方向為生物醫學成像、醫學圖像處理、生物特 征識別;
陳香敏,博士研究生,講師,主要 研究方向為康復機器人,圖像處理。
選自《通信技術》2019年第3期(為便于排版,已省去原文參考文獻)
評論