進行深度學習的訓練向來不被認為是CPU的強項，但是以CPU研發見長的英特爾并不甘心屈服于這個定位，在過去的幾年里，英特爾及其合作伙伴一直在探索用CPU來進行快速有效的深度學習開發的方法。代號KNL的Xeon Phi至強芯片是英特爾的努力嘗試之一，同時在深度學習算法的改進上，英特爾也做了一些努力。

在美國舊金山舉行的IDF16大會上，與英特爾聯合宣布啟動了KNL試用體驗計劃的浪潮集團副總裁、技術總監胡雷鈞做了基于英特爾至強融合處理器KNL和FPGA上的深度學習的試用體驗報告。報告介紹了高性能計算和深度學習發展的趨勢、深度學習在高性能計算平臺上的挑戰和解決辦法、大規模深度學習平臺的系統設計、多核設備和機群系統的算法設計（包括KNL和FPGA各自的技術分析) 4部分的內容。下面我們從摩爾定律的演變開始，看企業在實踐過程中，如何基于英特爾至強融合處理器KNL和FPGA，搭建最佳的深度學習算法。

摩爾定律的革命

1965年摩爾定律提出后，我們開始依次進入1965-2005年的單核CPU時代；2006至如今的多核CPU時代；2012至如今的多核英特爾MIC時代。

而現在，深度學習正在成為高性能計算的全新驅動力

高性能計算設備聯手大數據提升深度學習的發展的同時，深度學習也在促進新的高性能計算模型的發展。歸根結底，我們把深度學習現在的成功歸功于三方面：

1）大量標簽數據樣本的出現：圖片（10億級）/語音（10萬小時以上）。

2）好的算法，模型，軟件的出現：?算法：DNN/CNN/RNN ?軟件：Caffe/TensorFlow/MXNet

3）高性能計算樣本的激勵：AlphaGo可視為典型例子。

不可避免地，深度學習在高性能計算上遇到了挑戰 ?

具體表現為兩方面，其一，大規模深度學習平臺的系統設計。比如離線訓練要求的：高性能；在線識別要求的：低功耗。其二，多核設備和機群系統的算法設計問題。比如，多核設備異構細粒度并行算法；機群系統的分布式以及粗粒度并行算法。這些都是不容易解決的問題。

上述的挑戰之一，大規模深度學習平臺的系統設計問題，具體分為兩種：

離線訓練平臺特點：計算機密集型/交流密集型——使用KNL平臺最合適。

在線識別平臺特點：高吞吐量，低功耗——使用FPGA平臺最合適。

最終呈現出來的完整深度學習平臺，就是KNL+FPGA 機群+OPA網絡+Lustre存儲 (由Linux和Clusters演化而來, 可以看做一個解決海量存儲問題而設計的全新文件系統)的全新結合體。

上述的挑戰之二，多核設備和機群系統的算法設計問題

在我們的浪潮—Intel中國并行計算實驗室里，KNL/FPGA技術研究；HPC/深度學習應用；第一代 Xeon Phi Book三個方向的探索正如火如荼地進行著。

下面詳細介紹具體應用實踐中（SKA【平方公里陣列望遠鏡】的數據處理軟件Gridding、大規模線性方程組求解器GMRES和開源深度學習并行計算框架Caffe-MPI的KNL版本）的高性能計算平臺和其算法表現。

先談談KNL技術本身

它是英特爾第二代MIC架構，基于X86 架構的多核計算：擁有最多72核，總計288線程。目前有3個產品模型：包括處理器；協處理器；KNL-F。支持大規模記憶和高速寬帶：DDR4：384 GB，90+GB/s。MCDRAM: 16GB, 500GB/s。

KNL技術的優勢：高性能、高應用可適性、高可擴展性、可編程。

關于KNL測試結果

性能：1KNL/2 CPU=6.88X 。（疊加）擴展效率：95%

以浪潮全球首發基于KNL平臺的深度學習計算框架Caffe-MPI舉例

Caffe有許多用戶，在中國非常流行。在數據規模很大的情況下，一個節點通常需要很長的時間去訓練。這就要求，Caffe的前饋計算，權重計算，網絡更新可在并行機群環境中處理。

來自伯克利大學的原始版本的Caffe語言在處理的數據規模太大時需要的時間太長了，并且默認情況下并不支持多節點、并行文件系統。因此不是很擅長超大規模的深度學習運算。不過由于Caffe是開源的，因此理論上任何人都能對其進行自己需要的改進。Caffe的多種功能事實上都有很好的被改進以支持集群并行計算的潛力。而浪潮集團在原版Caffe的基礎上加以改進，開發出了第一代支持在KNL上進行叢集并行計算的Caffe版本。支持英特爾的Luster存儲器、OPA網絡和KNL叢集。

浪潮集團將這個改進版的Caffe框架命名為Caffe架構，下圖是關于Caffe-MPI在KNL上進行運算時的結構的一些解釋。可以看到，其計算流程采用MPI主從模式，使用多個KNL處理器組成節點網絡，主節點使用一個KNL，而從節點可以視需求由N個KNL構成，因為使用了專為HPC設計的Lustre文件系統，因此數據吞吐量并不會限制到計算和訓練。OPA架構也保證了網絡通信的順暢。軟件系統方面，支持Linux/Intel MKL和Mvapich2 。

設計框架中的主節點為MPI單進程+多Pthread線程，從節點為MPI多進程，圖中展示了整個網絡訓練的框圖。

設計中對KNL的最多72個核心可以進行充分利用，主進程可以同時處理三個線程：并行讀取和發送數據、權重計算和參數更新、網絡間的參數溝通。下圖中給出了圖示。

MPI結構中的從進程的主要處理流程是：從主進程中接收訓練數據、發送權重數據、接收新的網絡數據、進行前向、后向計算。從節點網絡中每一個KNL核代表了一個MPI網絡中的從節點。

下圖中的信息表示，改進版的在KNL叢集上運行的Caffe-MPI架構對原版Caffe進行了多項優化。最終的效果表現是原版的3.78倍。增加KNL處理器的總數時的性能擴展效率高達94.5%。

而FPGA是另一項在深度學習領域極有潛力的硬件。我們知道FPGA的特點包括高性能、支持更多并行模式、高密度、易編程、適配OpenCL。

目前浪潮、Altera和科大訊飛在在線識別領域對FPGA的應用起到了很好的成效。結果表明，FPGA組成的系統在各項指標上都顯著優于傳統CPU組成的系統。

結論是

對于離線學習來說，基于KNL處理器搭建的MPI-Caffe架構可以很好的完成任務。而在線語音平臺等在線認知項目則很適合使用FPGA來搭建系統。

編輯：黃飛

?