基于Hadoop平臺的LDA算法的并行化實現
大小：0.88 MB 人氣： 2017-12-05 需要積分：3
隨著互聯網的飛速發(fā)展，需要處理的數據量不斷增加，在互聯網數據挖掘領域中傳統(tǒng)的單機文本聚類算法無法滿足海量數據處理的要求，針對在單機情況下，傳統(tǒng)LDA算法無法分析處理大規(guī)模語料集的問題，提出基于MapReduce計算框架，采用Gibbs抽樣方法的并行化LDA主題模型的建立方法。利用分布式計算框架MapReduce研究了LDA主題模型的并行化實現，并且考察了該并行計算程序的計算性能。通過對Hadoop并行計算與單機計算進行實驗對比，發(fā)現該方法在處理大規(guī)模語料時，能夠較大地提升算法的運行速度，并且隨著集群節(jié)點數的增加，在加速比方面也有較好的表現。基于Hadoop平臺并行化地實現LDA算法具有可行性，解決了單機無法分析大規(guī)模語料集中潛藏主題信息的問題。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
基于Hadoop平臺的LDA算法的并行化實現下載
相關電子資料下載
- QCC5181QCC3086QCC3084QCC3083 USB Audio 96K/24bit LDAC 738
- QCC5181藍牙音頻發(fā)射LDAC APTX 549
- 華為5G移動核心網在GlobalData連續(xù)六年摘得桂冠 305
- 華為5G移動核心網在GlobalData連續(xù)六年排名第一 363
- QCC5181QCC3083QCC3084支持LDAC APTX LOSSLESS 3429
- Hadoop是什么?其核心由兩大部分組成,分別是什么? 1188
- 帶分區(qū)的大規(guī)模LDAP介紹 312
- SLDA副會長單位旭宇光電獲“國家知識產權示范企業(yè)” 786
- java 8的日期用法 285
- Java時間類轉換方案 326