神經網絡的黑盒屬性，一直是困擾研究人員和開發者最頭疼的問題之一。以至于大家給神經網絡戴了了一個煉丹術的帽子。但是OpenAI發現，梯度噪聲量表是一種簡單的統計度量，可以預測神經網絡訓練在各種任務中的可并行性。

由于復雜的任務往往具有更嘈雜的梯度，因此越來越大的batch計算包，可能在將來變得有用，從而消除了AI系統進一步增長的一個潛在限制。

更廣泛地說，這些結果表明神經網絡訓練不需要被認為是一種煉丹術，而是可以被量化和系統化。

在過去的幾年里，AI研究人員通過數據并行技術，在加速神經網絡訓練方面取得了越來越大的成功，數據并行性將大batch數據分散到許多機器上。

研究人員成功地使用了成各種的batch進行圖像分類和語言建模，甚至玩Dota 2。

這些大batch數據允許將越來越多的計算量有效地投入到單個模型的訓練中，并且是人工智能訓練計算快速增長的重要推動者。

但是，batch如果太大，則梯度消失。并且不清楚為什么這些限制對于某些任務影響更大而對其他任務影響較小。

我們已經發現，通過測量梯度噪聲標度，一個簡單的統計量來量化網絡梯度的信噪比，我們可以近似預測最大有效batch大小。

同理，噪聲尺度可以測量模型所見的數據變化（在訓練的給定階段）。當噪聲規模很小時，快速并行查看大量數據變得多余；反之，我們仍然可以從大batch數據中學到很多東西。

這種類型的統計數據被廣泛用于樣本量選擇，并且已被提議用于深度學習，但尚未被系統地測量或應用于現代訓練運行。

我們對上圖所示的各種機器學習任務進行了驗證，包括圖像識別，語言建模，Atari游戲和Dota。

由于大batch通常需要仔細和昂貴的調整或特殊高效的學習率，因此提前知道上限在訓練新模型方面提供了顯著的實際優勢。

我們發現，根據訓練的現實時間和我們用于進行訓練的總體積計算（與美元成本成比例）之間的權衡，可視化這些實驗的結果是有幫助的。

在非常小的batch的情況下，batch加倍可以讓我們在不使用額外計算的情況下減少一半的訓練。在非常大的batch，更多的并行化不會導致更快的訓練。中間的曲線中存在“彎曲”，漸變噪聲標度預測彎曲發生的位置。

我們通過設置性能水平（比如在Beam Rider的Atari游戲中得分為1000）來制作這些曲線，并觀察在不同batch大小下訓練到該性能所需的時間。 結果與績效目標的許多不同值相對較緊密地匹配了我們模型的預測。

梯度噪聲尺度中的模式

我們在梯度噪聲量表中觀察到了幾種模式，這些模式提供了人工智能訓練未來可能存在的線索。

首先，在我們的實驗中，噪聲標度通常在訓練過程中增加一個數量級或更多。

直觀地，這意味著網絡在訓練早期學習任務的“更明顯”的特征，并在以后學習更復雜的特征。

例如，在圖像分類器的情況下，網絡可能首先學習識別大多數圖像中存在的小尺度特征（例如邊緣或紋理），而稍后將這些部分組合成更一般的概念，例如貓和狗。

要查看各種各樣的邊緣或紋理，網絡只需要看到少量圖像，因此噪聲比例較小；一旦網絡更多地了解更大的對象，它就可以一次處理更多的圖像，而不會看到重復的數據。

我們看到一些初步跡象表明，在同一數據集上不同模型具有相同的效果。更強大的模型具有更高的梯度噪聲標度，但這僅僅是因為它們實現了更低的損耗。

因此，有一些證據表明，訓練中增加的噪聲比例不僅僅是收斂的假象，而是因為模型變得更好。如果這是真的，那么我們期望未來的更強大的模型具有更高的噪聲規模，因此可以更加并行化。

在監督學習的背景下，從MNIST到SVHN到ImageNet都有明顯的進展。在強化學習的背景下，從Atari Pong到Dota 1v1到Dota 5v5有明顯的進展，最佳batch大小相差10,000倍以上。

因此，隨著AI進入新的和更困難的任務，我們希望模型能夠容忍更高的batch。

啟示

數據并行度顯著影響AI功能的進展速度。更快的訓練使更強大的模型成為可能，并通過更快的迭代時間加速研究。

在早期研究中，我們觀察到用于訓練最大ML模型的計算，每3.5個月翻一番。我們注意到這種趨勢是由經濟能力和算法并行訓練的能力共同決定的。

后一因素（算法可并行性）更難以預測，其局限性尚不清楚，但我們目前的結果代表了系統化和量化的一步。

特別是，我們有證據表明，在同一任務中，更困難的任務和更強大的模型將允許比我們迄今為止看到的更激進的數據并行性，這為訓練計算的持續快速指數增長提供了關鍵驅動因素。