導(dǎo)讀：今天我們要聊的，是一件讓人第一反應(yīng)很驚訝：“竟然還有這種操作？”，但細(xì)細(xì)想來(lái)，又極為驚恐的事情。這件事，就是美國(guó)軍方最近搞出來(lái)的一個(gè)大新聞。據(jù)《The Register》專欄記者凱蒂安娜·庫(kù)奇 4 月 17 日的一篇文章，美國(guó)陸軍研究實(shí)驗(yàn)室正在研究一項(xiàng)技術(shù)，通過(guò) AI 的深度學(xué)習(xí)技術(shù)加持，可以實(shí)現(xiàn)在黑暗中準(zhǔn)確識(shí)別人臉。

想在夜里獲得視野并不是什么難事，如今 紅外技術(shù)的發(fā)展已經(jīng)非常成熟。拍攝野生動(dòng)物、24 小時(shí)監(jiān)控等等都會(huì)用到這類技術(shù)。再加上熱成像，在夜里能夠判斷前面站著的是個(gè)人而不是一塊石頭，已經(jīng)不是什么問(wèn)題。

但要在沒(méi)有打光的情況下實(shí)現(xiàn)人臉識(shí)別的精度，這確實(shí)有點(diǎn)驚為天人。那么，美國(guó)軍方究竟是準(zhǔn)備怎么做的？

AI+ 熱成像：不僅看到你，還能看清你

首先我們需要知道的是，熱成像是通過(guò)非接觸探測(cè)紅外能量，將其轉(zhuǎn)換為電信號(hào)，進(jìn)而在顯示器上生成圖像和溫度值的一種技術(shù)。熱成像裝置在軍事用途中非常常見(jiàn)。比如 Apache 直升機(jī)等飛機(jī)和裝甲運(yùn)兵車等地面交通工具，都是配備了熱成像相機(jī)。這能夠保證其在低能見(jiàn)度的情況下也能探測(cè)到人員，比如大霧、夜晚。

這里存在著一個(gè)問(wèn)題，熱成像裝置雖然相當(dāng)于給在夜里活動(dòng)的士兵們裝了一雙眼睛，但這雙眼睛其實(shí)是雙“近視眼”。它能夠顯現(xiàn)出對(duì)面出現(xiàn)的障礙物的基本輪廓，讓士兵們能夠判斷眼前是人還是石頭。但是，也就僅限于此。眼前的人是敵還是友，目前還是沒(méi)轍。

基于此，美國(guó)陸軍研究實(shí)驗(yàn)室開(kāi)發(fā)出了一套基于深度學(xué)習(xí)的 AI 識(shí)別系統(tǒng)。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的處理，熱圖像中人的眼睛、鼻子、嘴唇等的邊界被標(biāo)記出來(lái)，從而可以確定出人臉的整體形狀。接下來(lái)，非線性回歸模型將這些特征映射到相應(yīng)的面孔樣貌中。這種被稱為“多區(qū)域合成”的系統(tǒng)通過(guò)損失函數(shù)進(jìn)行訓(xùn)練，熱圖像和可見(jiàn)圖像之間的誤差會(huì)被最小化，從而可以構(gòu)建出一個(gè)相對(duì)準(zhǔn)確的人臉圖像。

技術(shù)深入解讀

陸軍研究實(shí)驗(yàn)室（Army Research Laboratory，ARL）的科學(xué)家 Benjamin S. Riggan，Nathaniel J. Short 和 Shuowen Hu 在最近發(fā)表的論文《Thermal to Visible Synthesis of Face Images using Multiple Regions》中詳細(xì)地介紹了軍方是如何開(kāi)發(fā)在熱成像圖像中應(yīng)用人臉識(shí)別技術(shù)的方法。

技術(shù)解讀部分由 AI 前線基于論文原文進(jìn)行編譯。

從熱圖像中合成可見(jiàn)光圖像是異質(zhì)人臉識(shí)別中十分有前景的一項(xiàng)方法，可以利用已有的在可見(jiàn)光人臉數(shù)據(jù)庫(kù)上訓(xùn)練的面部識(shí)別軟件，并且更有效地進(jìn)行跨光譜匹配。論文提出了一個(gè)利用全局（面部整體）和局部區(qū)域（五官）來(lái)增強(qiáng)判別性的可見(jiàn)光人臉圖像合成方法。

圖 1（a）熱紅外圖像與可見(jiàn)光圖像的跨模態(tài)匹配任務(wù)一直是異質(zhì)人臉識(shí)別的一項(xiàng)重要挑戰(zhàn)。而（b）（從熱紅外圖像中）合成的可見(jiàn)光圖像與可見(jiàn)光圖像則可能夠進(jìn)行更有效的跨光譜匹配和判斷。

跨光譜識(shí)別主要有兩類方法：（1）直接跨光譜識(shí)別，（2）跨光譜合成識(shí)別。在這篇論文中，作者提出了一個(gè)跨光譜合成方法，增強(qiáng)了面部細(xì)節(jié)，通過(guò)聯(lián)合優(yōu)化不同面部區(qū)域的目標(biāo)函數(shù)，使不同區(qū)域間的表示可以互補(bǔ)。這一多區(qū)域目標(biāo)函數(shù)利用了全局和局部信息來(lái)合成能夠保持整體面部結(jié)構(gòu)和局部人臉細(xì)節(jié)的可見(jiàn)光圖像，從而提高跨光譜識(shí)別率。

使用多區(qū)域進(jìn)行跨光譜識(shí)別

圖 2 算法框架圖

對(duì)于給定熱圖像，首先使用全卷積神經(jīng)網(wǎng)絡(luò) g(x) 在全局區(qū)域（紅色）和局部基準(zhǔn)區(qū)域（藍(lán)色，黃色和綠色）提取特征。然后使用特定區(qū)域的跨光譜映射從提取的熱圖像特征中估測(cè)對(duì)應(yīng)的可見(jiàn)光圖像表示。最后，通過(guò)反向傳播每個(gè)區(qū)域提取特征和估測(cè)特征之間的誤差，對(duì)全局和局部區(qū)域進(jìn)行梯度更新，然后合成可見(jiàn)光圖像。

論文主要考慮的是由于預(yù)訓(xùn)練的興趣區(qū)域（ROI）導(dǎo)致的多重?fù)p失和正則化函數(shù)的影響。盡管 ROI 是任意的，論文考慮了對(duì)應(yīng)局部判別特征（眼睛、鼻子和嘴巴）以及一個(gè)整體的區(qū)域的特征。

對(duì)于每個(gè)興趣區(qū)域，我們最小化以下目標(biāo)函數(shù)：

其中

L 代表?yè)p失函數(shù)，R 是 alpha 范數(shù)和整體的變量懲罰項(xiàng)，g 代表了從輸入圖像到表示特征的映射，hi 代表對(duì)應(yīng)區(qū)域 i 的跨光譜映射函數(shù)。在實(shí)現(xiàn)中，g 為全卷積神經(jīng)網(wǎng)絡(luò)，所以輸入圖像的尺寸不需要定義，hi 由 1x1 的卷積層組成。

合成的圖像通過(guò)求解如下優(yōu)化問(wèn)題得到：

其中:

權(quán)重 w 平衡了全局結(jié)構(gòu)和局部細(xì)節(jié)，wi 對(duì)應(yīng)第 i 個(gè)區(qū)域。

實(shí)驗(yàn)結(jié)果

合成方法對(duì)比

合成圖像與真實(shí)圖像（頂部）的對(duì)比：熱圖像 - 可見(jiàn)光合成效果（中間），極化圖像 - 可見(jiàn)光合成效果（底部）。

關(guān)鍵點(diǎn)檢測(cè)對(duì)比：真實(shí)圖像（頂部），熱圖像 - 可見(jiàn)光合成效果（中間），極化圖像 - 可見(jiàn)光合成效果（底部）。

識(shí)別效果對(duì)比如下表：

可以看到，目前基于熱成像技術(shù)多區(qū)域合成的模型精度和常規(guī)成像精度都超過(guò)了 80%。

想要深入了解相關(guān)技術(shù)細(xì)節(jié)，可查看論文原文：

https://arxiv.org/pdf/1803.07599.pdf

人臉識(shí)別數(shù)據(jù)庫(kù)才是關(guān)鍵！

但如何認(rèn)識(shí)這張臉？畢竟僅僅得出一個(gè)人臉的圖像是沒(méi)有多大用處的，這項(xiàng)技術(shù)的最主要目的是判斷對(duì)面的人是誰(shuí)。這就需要有一個(gè)數(shù)據(jù)庫(kù)用來(lái)對(duì)即時(shí)生成的人臉進(jìn)行比對(duì)。

論文作者 Riggan 也強(qiáng)調(diào)說(shuō)：

當(dāng)使用熱成像照相機(jī)拍攝面部圖像時(shí)，主要的挑戰(zhàn)在于捕獲的熱圖像必須與目標(biāo)人物的常規(guī)可見(jiàn)圖像的監(jiān)視圖像庫(kù)相匹配。

為了有效，需要將構(gòu)建出來(lái)的圖像與數(shù)據(jù)庫(kù)中的已知面部進(jìn)行匹配，如監(jiān)獄罪犯、***等，才能識(shí)別出目標(biāo)。也就是說(shuō)，使用這套系統(tǒng)拍攝出的面部圖像，必須要與數(shù)據(jù)庫(kù)中的圖像進(jìn)行匹配。如果能早點(diǎn)應(yīng)用，類似波士頓恐襲事件中對(duì)犯罪分子的抓捕，也許就不會(huì)那么大費(fèi)周折。這樣說(shuō)來(lái)，目前來(lái)說(shuō)這套系統(tǒng)的最大優(yōu)勢(shì)可以是抓在逃犯。

聽(tīng)起來(lái)這項(xiàng)技術(shù)的可應(yīng)用前景還是很廣闊的。但還沒(méi)等美國(guó)軍方高興起來(lái)，有人就過(guò)來(lái)潑冷水了。

三月份在內(nèi)華達(dá)州舉行的 IEE 動(dòng)機(jī)計(jì)算機(jī)視覺(jué)應(yīng)用會(huì)議上，有研究者就認(rèn)為，雖然熱成像技術(shù)多區(qū)域合成模型精度和常規(guī)成像精度都超過(guò)了 80%，看起來(lái)結(jié)果有一定的希望，但是由于熱成像精度的變化，該技術(shù)的人臉合成精度也會(huì)發(fā)生變化。因此，將這些算法和當(dāng)前的熱成像技術(shù)的完美結(jié)合仍然是有不同程度的困難。

有意思的是，國(guó)內(nèi)的一些媒體在進(jìn)行相關(guān)報(bào)道的時(shí)候，夸大其詞地轉(zhuǎn)譯了其具有“穿墻透視”的功能。我們需要知道的是，目前熱成像儀還無(wú)法突破墻體去探測(cè)人體發(fā)出的輻射，因此“穿墻”一說(shuō)，噱頭的成分更大一點(diǎn)。

對(duì)于剛剛?cè)〉贸醪竭M(jìn)展的這項(xiàng)技術(shù)而言，這樣的批評(píng)之言應(yīng)該算是一種鞭策或者方向。但是現(xiàn)在問(wèn)題又出來(lái)了。即便這項(xiàng)技術(shù)成熟了，但是數(shù)據(jù)庫(kù)里沒(méi)有那么多人臉來(lái)匹配，一切不都白瞎了？

目前來(lái)看，該算法在于現(xiàn)有數(shù)據(jù)庫(kù)進(jìn)行結(jié)合的情況下，可以暫時(shí)解決一部分的問(wèn)題。但是如果想要實(shí)現(xiàn)更精準(zhǔn)而廣泛的應(yīng)用，仍然有賴于人臉識(shí)別數(shù)據(jù)庫(kù)的擴(kuò)建。比如一個(gè)名為 Terrogence 的商業(yè)機(jī)構(gòu)就聲稱自己擁有一個(gè)包含數(shù)以千計(jì)的***面孔數(shù)據(jù)庫(kù)。而這個(gè)數(shù)據(jù)庫(kù)的客戶，就包括國(guó)安局、美國(guó)海軍情報(bào)機(jī)構(gòu)和政府機(jī)構(gòu)。

可以想見(jiàn)，未來(lái)這項(xiàng)技術(shù)在追捕在逃犯、打擊***、夜間作戰(zhàn)方面還是有很大的用武之地的。

No entry：停在邊界線上

上面我們說(shuō)到了驚訝，接下來(lái)，我們就要說(shuō)驚恐了。

核武器的最大作用在于震懾，但當(dāng)其巨大的摧毀力被用來(lái)殺人的時(shí)候，愛(ài)因斯坦都為此而感到后悔。這也就說(shuō)明，任何一項(xiàng)技術(shù)，包括我們今天所介紹的 AI+ 熱成像極大的降低了人臉識(shí)別的適用門(mén)檻，無(wú)論其初衷如何，如果會(huì)存在對(duì)公眾產(chǎn)生傷害的可能（尤其當(dāng)這項(xiàng)技術(shù)被軍方掌握時(shí)），那就必須要有人來(lái)監(jiān)管。

試想一下，你和朋友在夜里漫步街頭，享受著一天的疲倦之后的片刻輕松，而路口的紅外攝像頭則正在默不作聲地將你們兩個(gè)的頭像進(jìn)行掃描分析，同時(shí)比對(duì)著不知何時(shí)被搜集的數(shù)據(jù)庫(kù)中的你的頭像，然后作出判斷：安全人員。

雖然它不會(huì)影響你的正常的生活，但會(huì)給人一種深深的擔(dān)憂：我們的生活時(shí)時(shí)刻刻處在無(wú)數(shù)雙眼睛的監(jiān)控之下。也許我們并未感受到受到了某種傷害。但是這很可能意味著在這個(gè)城市里，我們已經(jīng)失去了未被授權(quán)的隱私。在這個(gè)個(gè)人隱私可以作為商品交換巨額利潤(rùn)的時(shí)代，每個(gè)人都并不希望自己渾然不覺(jué)地成為商品。也正是因?yàn)槿绱耍瑢?duì) Facebook 泄露用戶的數(shù)據(jù)，人們才會(huì)感到如此的憤怒。

所以，不管美國(guó)軍方的這項(xiàng)技術(shù)的初衷如何，我們都希望其目的只是用來(lái)對(duì)付社會(huì)的陰暗分子，民眾也必然希望對(duì)這項(xiàng)技術(shù)有嚴(yán)格的監(jiān)管。同時(shí)，對(duì)政府和軍方的使用要進(jìn)行限制，并確保技術(shù)不會(huì)外流，以免被別有用心的人利用。畢竟，每個(gè)人都應(yīng)對(duì)自己的隱私享有自主的權(quán)力，而不能成為暴露在鏡頭下的楚門(mén)。