1 Hadoop發(fā)展現(xiàn)狀

　　Apache Nutch 是 Hadoop 的源頭，該項(xiàng)目始于 2002年， 是Apache Lucene的子項(xiàng)目之一。 至 2004年，Google在OSDI上公開(kāi)發(fā)表了題為 “MapReduce： simplified data processing on large clusters”的論文，受到啟發(fā)的 Doug C 等人 開(kāi) 始 實(shí) 現(xiàn) MapReduce 計(jì) 算 框 架 并 與 NDFS （Nutch distributed file system） 結(jié)合支持 Nutch 的主要算法 。 至2006 年逐漸成為一套完整而獨(dú)立的軟件 ，起名為 Hadoop。2008 年初，Hadoop 成為 Apache 的頂級(jí)項(xiàng)目，應(yīng)用到除Yahoo！ 以外的很多互聯(lián)網(wǎng)公司。

　　Hadoop 技術(shù)已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域得以廣泛的應(yīng)用 ， 同時(shí)也得到研究界的普遍關(guān)注。 如 Yahoo！ 使用 4 000 節(jié)點(diǎn)的機(jī)群運(yùn)行 Hadoop， 支持廣告系統(tǒng)和 Web 搜索的研究；Facebook 使用 1 000 節(jié)點(diǎn)的機(jī)群運(yùn)行 Hadoop，存儲(chǔ)日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)；IBM 的藍(lán)云產(chǎn)品也直接將 Hadoop 軟件集成到自己本身的云計(jì)算平臺(tái)上；百度用 Hadoop 處理每周 200 TB 的數(shù)據(jù)，進(jìn)行搜索日志分析和網(wǎng)頁(yè)數(shù)據(jù)挖掘工作； 中移動(dòng)研究院基于 Hadoop 開(kāi)發(fā)了“大云 ”（big cloud）系統(tǒng) ，不但用于相關(guān)數(shù)據(jù)分析，還對(duì)外提供服務(wù)；淘寶的 Hadoop 系統(tǒng)用于存儲(chǔ)并處理的交易相關(guān)數(shù)據(jù)。 國(guó)內(nèi)的高校和科研院所基于 Hadoop 在數(shù)據(jù)存儲(chǔ)、資源管理、作業(yè)調(diào)度、性能優(yōu)化、系統(tǒng)高可用性和安全性方面進(jìn)行研究， 相關(guān)研究成果多以開(kāi)源形式貢獻(xiàn)給 Hadoop 社區(qū)。Cloudera 公司推出了首個(gè) Hadoop 商業(yè)版本，一個(gè)能夠存儲(chǔ)千兆位容量信息的服務(wù)器產(chǎn)品。公司發(fā)言人表示“hadoop 應(yīng)用于 Google、Yahoo、Facebook 等公司 ， 已經(jīng)是一個(gè)成功的產(chǎn)品，發(fā)布該產(chǎn)品的商業(yè)版本，幾乎是理所當(dāng)然的事情 ”。 Cloudera 的 Hadoop 是 免 費(fèi) 的 ， 并 將 分 配 在Apache 2 軟件許可下 。

　　2 淘寶網(wǎng)-集群存儲(chǔ)架構(gòu)

　　淘寶網(wǎng)部署了一個(gè)1.5PB的華為賽門鐵克Oceanspace N8000 Cluster NAS存儲(chǔ)系統(tǒng)，以及一個(gè)包含賽門鐵克FileStore軟件的解決方案，該集群NAS存儲(chǔ)系統(tǒng)方案能夠?qū)浞莺突謴?fù)、動(dòng)態(tài)存儲(chǔ)分層（DST）和數(shù)據(jù)快照進(jìn)行整合管理。第二臺(tái)華為賽門鐵克Oceanspace N8000部署在一個(gè)“active-active”系統(tǒng)中，從而讓淘寶網(wǎng)的服務(wù)器能夠訪問(wèn)復(fù)制的常用數(shù)據(jù)庫(kù)，以便進(jìn)行故障切換。

　　該團(tuán)隊(duì)還部署了Veritas NetBackup，以進(jìn)行集中的數(shù)據(jù)保護(hù)。通過(guò)將NetBackup與N8000和FileStore相集成，可以實(shí)現(xiàn)更快速、更便捷的備份。

　　組合的解決方案具有高度可伸縮性，這是部署過(guò)程中的主要考慮因素之一。馮江解釋說(shuō)：“對(duì)于淘寶網(wǎng)來(lái)說(shuō)，很難制定一個(gè)超過(guò)一年的完善計(jì)劃，因?yàn)闃I(yè)務(wù)發(fā)展的速度太快了。因此集中管理和出色的可伸縮性對(duì)我們來(lái)說(shuō)至關(guān)重要。內(nèi)置了賽門鐵克FileStore的華為賽門鐵克N8000可以擴(kuò)展到15PB，完全能夠滿足淘寶網(wǎng)一段時(shí)間內(nèi)的需求。”

　　賽門鐵克FileStore中的一項(xiàng)重要功能是動(dòng)態(tài)存儲(chǔ)分層 （DST），動(dòng)態(tài)存儲(chǔ)分層能夠?qū)?shù)據(jù)動(dòng)態(tài)移動(dòng)到不同的存儲(chǔ)層，以快速響應(yīng)淘寶網(wǎng)不斷變化的業(yè)務(wù)需求。經(jīng)常使用的數(shù)據(jù)可以存儲(chǔ)在第一層存儲(chǔ)上，而不常用的數(shù)據(jù)則可以駐留在第二層或第三層存儲(chǔ)上。