數據包含重要的隱私，尤其是醫療數據。但在訓練用于醫療的神經網絡時，數據又是不可或缺的。為了解決數據共享帶來的隱私破壞問題，斯坦福大學的研究人員提出了一種分布式深度學習網絡，為不同機構間的合作提供了新思路。

隨著強大的圖形處理單元的進步，深度學習在主流任務中取得了很大突破，例如圖像分類、語音識別和自然語言處理。由于神經網絡能高效處理形狀識別，深度學習也在臨床醫療診斷領域給與了一定支持。最近的研究表明，深度學習在檢測糖尿病視網膜病變、分辨皮膚病變、預測神經膠質瘤變異以及評估醫療記錄等方面都有很大潛力。深度學習模型可以輸入原始數據，然后經過多層轉換，計算出分類標簽。這些轉換通常有多個維度，也使得算法學習更多復雜的表示。

在醫療領域，想應用深度學習，主要問題就是大量的訓練數據，尤其是當圖像之間的差別很細微，或者研究群體之間的差異性很大的時候，數據就更需要多樣化了。然而，來自病人的樣本數量通常很少，罕見病就更少了。樣本規模小，可能會導致神經網絡模型的泛化能力降低。

針對上述問題，一種可能的解決方法就是進行多中心研究（multicenter study），這種方法可以增加樣本規模，同時豐富樣本多樣性。理想情況下，病人的數據在研究中心是共享的，算法能利用這些數據訓練。但是，這種方法有幾個問題。首先，如果病人的數據需要很大的存儲空間（例如高分辨率的圖像），要想分享這些數據就很麻煩了。其次，共享病人的數據還面臨著法律和道德的障礙，想要大規模傳播數據似乎不太可能。另外，病人的數據非常珍貴，很多機構可能根本不想貢獻出去。

在這種情況下，與其直接分享病人數據，我們想到了更吸引人的方法，即對訓練過的深度學習模型進行分散。模型本身對存儲空間的需求比病人數據低得多，并且不需要存儲與病人有關的各類信息。因此，在多個機構間的分布式深度學習模型可以克服分散的病人數據帶來的弱點。不過，據我們了解，能執行這一任務的方法目前還沒有人研究過。

關于分布式訓練，目前有好幾種方法。對模型取平均值指的是，分離的模型在不同的數據上進行訓練，模型每隔幾個mini-batches就會計算一次平均權重。在非同步的隨機梯度下降上，分離的模型在分離的數據上訓練，而每隔分離模型的梯度就會轉移到中心模型上。然而，這些方法都是為了優化訓練速度而提出的。雖然在多個機構間，對這些數據進行平行訓練是可能做到的，但同樣會出現重要的邏輯挑戰。如果各個機構減的網絡連接速度不同，或者有不同的深度學習硬件，就會有挑戰性。雖然非平行的分布式訓練方法會比平行式的要慢，但可以避免這些邏輯上的問題。

在這篇論文中，我們利用多種非平行的訓練方法，模擬了在各機構間分布的深度學習模型。我們比較了在中心數據上訓練過的深度學習模型結果。我們在三個數據集上對這一模擬結果做出展示：視網膜眼底照片、乳房X光片和ImageNet。主要評估的目的有三點：

分布式深度學習模型的性能與共享病人數據有何不同；

當向某個機構發生變化時，分布式深度學習模型的性能會不會衰減；

當機構數量越來越大，分布式深度學習模型的性能會不會更好。

我們的方法

收集圖像

我們從Kaggle的糖尿病視網膜病變的挑戰賽中獲得了35126張彩色數字化的視網膜眼底照片，它們的質量、像素各不相同。我們用挑戰賽冠軍Ben Graham的方法對其進行了處理，尺寸改為256×256，打上表示病情嚴重程度的標簽。

我們的網絡架構是一個34層的殘差網絡，如圖1所示：

圖1

網絡在NVIDIA Tesla P100的圖形處理單元上運行。網絡的權重通過一個隨機梯度下降算法進行優化，mini-batch的尺寸為32。

數據集是隨機采集的，來自四個不同的醫療結構，每個機構有n=1500名病人，類別分布的數量相同。

圖2

我們在多個不同的訓練方法上進行了測試，并比較了結果。第一種方法是讓神經網絡在每個機構上單獨訓練，假設沒有其他機構與之合作。第二種方法是通過將所有病人的數據共享（圖3A）。第三種方法是先將模型在各個機構上單獨訓練，然后計算輸出結果的平均值（圖3B）。第四種方法是將一個模型在單一機構的數據上訓練，直到達到驗證損失不再下降，然后再訓練下一個機構（單一權重轉移，圖3C）。除此之外，還有一種方法是讓一個模型在每個機構上訓練一定次數之后在轉移到下一個機構上（循環權重轉移，圖3D）。

圖3

實驗結果

首先是模型在單一的機構上的視網膜眼底數據集訓練結果，表現的性能很不好，平均測試精度只有56.3%

其次，在中心共享數據集上訓練后，網絡的性能有所提升，測試精度達到了78.7%

平均法下，模型的測試精度為60%，單一權重轉移下的精度為68.1%，循環權重轉移的精度為76.1%。

結論

在這項研究中，我們解決了如何在不共享病人數據的情況下訓練深度學習模型的方法。最終發現，循環權重轉移方法和共享數據的方法結果差不多，說明共享病人數據并非是創建模型的唯一方法。這項發現對合作型的深度學習研究大有幫助。