谷歌大腦的Quoc Le團隊，用神經網絡架構搜索 (NAS) ，發現了一個目標檢測模型。長這樣：

△看不清請把手機橫過來

它的準確率和速度都超過了大前輩Mask-RCNN；也超過了另外兩只行業精英：FPN和SSD。

模型叫做NAS-FPN。大佬Quoc Le說，它的長相完全在想象之外，十分前衛：

△喜訊發布一日，已收獲600顆心

AI的腦洞果然和人類不一樣。對比一下，目標檢測界的傳統方法FPN (特征金字塔網絡) 長這樣：

谷歌大腦說，雖然網絡架構搜索 (NAS) 并不算新穎，但他們用的搜索空間與眾不同。

怎么搜出來？

在NAS-FPN出現之前，地球上最強大的目標檢測模型，架構都是人類手動設計的。

△這是Mask-RCNN的成果

NAS是一種自動調參的方法，調的不是訓練超參數，是網絡架構超參數：比如網絡多少層、每層都是什么算子、卷積層里的過濾器大小等等。

它可以在許多許多不同的架構里，快速找到性能最好的那一個。

所以，要把目標檢測的常用架構FPN(特征金字塔網絡) 和NAS結合起來，發現那只最厲害的AI。

但問題是搜索空間太大，特征橫跨許多不同的尺度。

于是，團隊基于RetinaNet框架，設計了一個新的搜索空間：

這里，一個FPN是由許多的“合并單元 (Merging Cells) ”組成的。

是要把輸入的不同尺度/分辨率的特征層，合并到RetinaNet的表征里去。

具體怎樣合并？這是由一個RNN控制器來決定的，經過四個步驟：

一是，從輸入里任選一個特征層；

二是，從輸入里再選一個特征層；

三是，選擇輸出的特征分辨率；

四是，選擇一種二進制運算，把兩個特征層 (用上一步選定的分辨率) 合并起來。

第四步有兩種運算可選，一種是加和 (sum) ，一種是全局池化 (Global Pooling) 。兩個都是簡單、高效的運算，不會附加任何帶訓練的參數。

一個Cell就這樣合并出來了，但這只是中間結果。把它加到剛才的輸入列表里，和其他特征層排在一起。

然后，就可以重新選兩個特征層，重復上面的步驟一、二、四，保持分辨率不變。

(團隊說，如果要避免選到相同分辨率的兩個特征層，就不要用步長8。2和4是比較合適的步長。)

就這樣，不停地生成新的Cell。

停止搜索的時候，最后生成的5個Cell，會組成“被選中的FPN”出道。

那么問題來了，搜索什么時候能停？

不是非要全部搜索完，隨時都可以退出。反正分辨率是不變的，FPN是可以隨意擴展的。

團隊設定了Early Exit (提前退出) 機制，用來權衡速度和準確率。

最終發布NAS-FPN的，是AI跑了8,000步之后，選取最末5個Cell生成的網絡。回顧一下：

△看不清請把手機橫過來

從原始FPN (下圖a) 開始，它走過的路大概是這樣的：

跑得越久，生成的網絡就越蜿蜒。

模型怎么樣？

NAS-FPN可以依托于各種骨架：MobileNet，ResNet，AmoebaNet……

團隊選擇的是AmoebaNet骨架。

那么，用COCO test-dev數據集，和那些強大的前輩比一比高清大圖檢測效果。

比賽結果發布：

△看不清請把手機橫過來

NAS-FPN拿到了48.3的AP分，超過了Mask-RCNN，并且用時更短 (右邊第二列是時間) 。

另外一場比賽，是移動檢測 (320x320) ，NAS-FPN的輕量版本，跑在MobileNet2骨架上：

超過了厲害的前輩SSD輕量版，雖然，還是沒有趕上YOLOv3。

△YOLOv3過往成果展

不過，打敗Mask-RCNN已經是值得慶祝的成就了。

One More Thing

NAS既然如此高能，應該已經搜索過很多東西了吧？

谷歌大腦的另一位成員David Ha列出了7種：

1) 基于CNN的圖像分類器，2)RNN，3) 激活函數，4) SGD優化器，5) 數據擴增，6) Transformer，7) 目標檢測。

并發射了直擊靈魂的提問：下一個被搜的會是什么？

他的同事摘得了最佳答案：NAS啊。

△NAS

論文傳送門：https://arxiv.org/pdf/1904.07392.pdf