深度神經網絡（DNN）在解決圖像分類、文本識別和語音轉換等實際難題方面具有顯著的效果。然而，為一個給定的問題設計一個合適的 DNN 體系結構仍然是一個具有挑戰性的任務。考慮到架構可能需要巨大的搜索空間，從頭開始為特定的應用程序設計一個網絡在計算資源和時間方面花銷可能非常大。神經網絡架構搜索和 AdaNet 等方法利用機器學習來搜索設計空間，以便找到改進架構的方法。另一種選擇是將現有的體系結構用于類似的問題，并一次性為手頭的任務進行優化。

正對這個問題，谷歌 AI 發布了一篇博文討論了 MorphNet。MorphNet 是一種復雜的神經網絡模型細化技術，它采用了上面說的第二種方法。本文對 MorphNet 的解釋是：「深度神經網絡的快速、簡單的資源受限結構學習」。MorphNet 以現有的神經網絡為輸入，生成一個更小、更快、性能更好的新神經網絡，以適應新的問題。我們已經將這項技術應用于「Google-scale」問題，以設計更小、更準確的生產服務網絡。而且，現在我們已經向社區開放了 MorphNet 的 TensorFlow 實現，這樣你就可以使用它來提高你的模型的效率。

它是如何工作的

MorphNet 通過收縮和擴展階段的循環優化神經網絡。在收縮階段，MorphNet 識別效率低下的神經元，并利用稀疏正則化器將其從網絡中刪去，這樣網絡的總損失函數就包含每個神經元的成本。然而，MorphNet 并沒有對每個神經元使用一樣的成本，而是根據目標資源計算神經元成本。隨著訓練的進行，優化器在計算梯度時會意識到資源成本，從而了解哪些神經元是是節省資源的，哪些神經元可以被移除。

例如，考慮 MorphNet 如何計算神經網絡的計算成本，以觸發器為例。為了簡單起見，讓我們考慮一個用矩陣乘法表示的神經網絡層。在這種情況下，層有 2 個輸入（xn），6 個權重（a，b，…，f）和 3 個輸出（yn；神經元）。使用標準教科書中的行和列相乘的方法，可以計算出評估該層需要 6 次相乘。

神經元的計算成本

MorphNet 將其計算為輸入計數和輸出計數的乘積。注意，盡管左邊的例子顯示了兩個為 0 的權重值，我們仍然需要執行所有的乘法來評估這個層。然而，中間的例子顯示了結構化稀疏性，其中神經元 yn 中的所有行權重都為 0。MorphNet 識別出這個層的乘法數從 6 減少到 4，于是這個層的新輸出計數是 2。利用這一思想，MorphNet 可以確定網絡中每個神經元的增量成本，從而生成一個更有效的模型（右邊），其中神經元 y3 已經被移除。

在展開階段，我們使用寬度乘數來均勻地擴展所有的層大小。例如，如果我們擴大 50%，那么一個以 100 個神經元開始并縮小到 10 個的低效率層只會擴大到 15 個，而一個只縮小到 80 個神經元的重要層可能會擴大到 120 個，并有更多的資源來工作。也就是將計算資源從網絡中效率較低的部分重新分配到可能更高效的部分。

在縮減階段之后，人們可以停止 MorphNet，只需縮減網絡以滿足更嚴格的資源預算。這會導致在給定目標成本的時候網絡效率更高，但有時也會導致精度下降。另外，用戶還可以完成擴展階段，該階段將與原始目標資源成本相匹配，但提高了準確性。稍后我們通過一個示例來介紹這個的完整實現過程。

為什么是 MorphNet？

MorphNet 提供了四個關鍵的有價值的主張：

有針對性的正則化：與其他稀疏的正則化方法相比，MorphNet 采取的正則化方法目的性更強。尤其是，MorphNet 方法進行更好的稀疏化的目的是減少特定的資源。這可以更好地控制由 MorphNet 生成的網絡結構，根據應用領域和相關約束，MorphNet 可以有明顯的不同。例如，下圖的左側面板顯示了一個基線網絡，該網絡具有在 JFT 上訓練的常用 ResNet-101 體系結構。當以觸發器（中間圖，觸發器減少 40%）或模型大小（右圖，權重減少 43%）為目標時，MorphNet 生成的結構有很大不同。在優化計算成本時，較低層網絡中的高分辨率神經元比低分辨率神經元更容易受到修剪。當模型尺寸較小時，在修剪權衡上正好相反。

MorphNet 有針對性的正則化。矩形寬度與層中的通道數成正比。底部的紫色條是輸入層。左圖：基線網絡用作 MorphNet 的輸入。中圖：輸出應用觸發器調節器。右圖：輸出應用大小調整器。

MorphNet 是為數不多的能夠針對特定參數進行優化的解決方案之一。這使它能夠針對特定實現的參數。例如，可以通過結合特定于設備的計算時間和內存時間，將延遲作為一階優化參數。

拓撲變形：當 MorphNet 學習每層神經元的數量時，算法在一個層中稀疏所有神經元的過程中可能會遇到一種特殊的情況。當一個層有 0 個神經元時，通過切斷網絡中受影響的分支，可以有效地改變網絡的拓撲結構。例如，當遇到 ResNet 體系結構時，MorphNet 可能保留 skip-connection，但刪除殘差塊，如下左圖所示。對于 Inception 樣式的架構，MorphNet 可能會刪除整個平行的塔，如右圖所示。

左圖：MorphNet 可以刪除 ResNet 樣式網絡中的殘差連接。右圖：它還可以刪除 Inception 樣式的網絡中的平行塔。

可擴展性：MorphNet 在一次訓練中學習新的結構，在培訓預算有限時，它是一個很好的方法。MorphNet 也可以直接應用于昂貴的網絡和數據集。例如，在上面的比較中，MorphNet 直接應用于 ResNet-101，而它最初是在 JFT 上花費了 100 個 GPU 月訓練的。

可移植性：MorphNet 產生的網絡是「可移植的」，從這個意義上說，它們是打算從頭開始重新訓練的，并且權重與體系結構學習過程無關。你不必擔心復制檢查點或遵循特殊的訓練規則，而只需像平時一樣訓練你的新網絡！

變形網絡

作為一個演示，我們將 MorphNet 應用于在 ImageNet 上通過目標定位 FLOPs 訓練的 Inception V2（見下文）。基線方法是使用一個寬度倍增器，通過均勻地縮小每個卷積（紅色）的輸出數量來權衡精度和觸發器。MorphNet 方法的目標是直接 FLOPs，并在縮小模型時產生更好的權衡曲線（藍色）。在這種情況下，與基線相比，觸發器成本降低了 11% 到 15%，而精確度相同。

MorphNet 應用于 ImageNet 上的 Inception V2。單獨使用 FLOP 正則化器（藍色）可將性能相對于基線（紅色）提高 11-15%。在一個完整的周期中，正則化器和寬度乘法器在相同的成本（「x1」；紫色）下提高了精度，并在第二個周期（「x2」；青色）持續改進。

此時，您可以選擇一個 MorphNet 網絡來滿足較小的 FLOP 預算。或者，您可以通過將網絡擴展回原始的 FLOP 成本來完成這個周期，從而在相同的成本（紫色）下獲得更好的準確性。再次重復變形網縮小擴展循環會導致另一個精度增加（青色），使總精度增加 1.1%。

結論

我們已經將 MorphNet 應用到了谷歌的幾個量產級圖像處理模型中。使用 MorphNet 可以在質量幾乎沒有損失的情況下顯著減少模型大小。