Intel開源了基于Apache Spark的分布式深度學習框架BigDL。BigDL借助現(xiàn)有的Spark集群來運行深度學習計算,并簡化存儲在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。
BigDL適用的應(yīng)用場景主要為以下三種:
1、直接在Hadoop/Spark框架下使用深度學習進行大數(shù)據(jù)分析(即將數(shù)據(jù)存儲在HDFS、HBase、Hive等數(shù)據(jù)庫上);
2、在Spark程序中/工作流中加入深度學習功能;
3、利用現(xiàn)有的 Hadoop/Spark 集群來運行深度學習程序,然后將代碼與其他的應(yīng)用場景進行動態(tài)共享,例如ETL(Extract、Transform、Load,即通常所說的數(shù)據(jù)抽取)、數(shù)據(jù)倉庫(data warehouse)、功能引擎、經(jīng)典機器學習、圖表分析等。
-
數(shù)據(jù)存儲
+關(guān)注
關(guān)注
5文章
997瀏覽量
51677 -
AI
+關(guān)注
關(guān)注
88文章
34781瀏覽量
277146 -
深度學習
+關(guān)注
關(guān)注
73文章
5557瀏覽量
122658
發(fā)布評論請先 登錄
用Linux和Apache Hadoop進行云計算

基于Spark和BigDL的深度學習技術(shù)的案例解析
第1部分:如何將Bigdl部署為DOCKER容器或虛擬機
第4部分:BIGDL的長短記憶和遞歸神經(jīng)網(wǎng)絡(luò)
第2部分:構(gòu)建具有BIGDL的基本神經(jīng)網(wǎng)絡(luò)模型
Apache Ignite上的TensorFlow!分布式內(nèi)存數(shù)據(jù)源

Apache與Weblogic的整合

Apache2+tomcat5.5集群及Apache負載均衡配置實例

物聯(lián)網(wǎng)數(shù)據(jù)上云,正好才是真的好 | Apache Edgent邊緣計算介紹

評論