BigDL是基于Apache Spark的分布式深度學(xué)習(xí)框架,借助現(xiàn)有的Spark集群來(lái)運(yùn)行深度學(xué)習(xí)計(jì)算,并簡(jiǎn)化存儲(chǔ)在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。
1、豐富的深度學(xué)習(xí)支持。模擬Torch之后,BigDL為深入學(xué)習(xí)提供全面支持,包括數(shù)字計(jì)算(通過(guò)Tensor)和高級(jí)神經(jīng)網(wǎng)絡(luò) ; 此外,用戶可以使用BigDL將預(yù)先訓(xùn)練好的Caffe或Torch模型加載到Spark程序中。
2、極高的性能。為了實(shí)現(xiàn)高性能,BigDL在每個(gè)Spark任務(wù)中使用英特爾MKL和多線程編程。因此,在單節(jié)點(diǎn)Xeon(即與主流GPU 相當(dāng))上,它比開(kāi)箱即用開(kāi)源Caffe,Torch或TensorFlow快了數(shù)量級(jí)。
3、有效地橫向擴(kuò)展。BigDL可以通過(guò)利用Apache Spark(快速分布式數(shù)據(jù)處理框架),以及高效實(shí)施同步SGD和全面減少Spark的通信,從而有效地?cái)U(kuò)展到“大數(shù)據(jù)規(guī)模”上的數(shù)據(jù)分析
-
英特爾
+關(guān)注
關(guān)注
61文章
10165瀏覽量
173913 -
AI
+關(guān)注
關(guān)注
87文章
34155瀏覽量
275326 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8949瀏覽量
139454 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5554瀏覽量
122470
發(fā)布評(píng)論請(qǐng)先 登錄
現(xiàn)實(shí)中的開(kāi)放源碼云計(jì)算,第3部分:管理云

基于局部分類精度的多源在線遷移學(xué)習(xí)算法
實(shí)時(shí)控制技術(shù)滿足實(shí)時(shí)工業(yè)通信發(fā)展的需求——第3部分

看懂MOSFET數(shù)據(jù)表,第3部分—連續(xù)電流額定值

使用Zio控制機(jī)械臂(第3部分)

徑向氣流培養(yǎng)箱(第3部分)

邊緣智能第3部分:邊緣節(jié)點(diǎn)通信

如何進(jìn)行電源供應(yīng)設(shè)計(jì)-第3部分

電源設(shè)計(jì)方法-第3部分

如何進(jìn)行電源設(shè)計(jì)–第3部分

評(píng)論