序言

最近花了很多時(shí)間在分布式存儲(chǔ)上面，不想在這個(gè)上面再花費(fèi)很多時(shí)間了，所以用這篇文章做一個(gè)最后的總結(jié)。

在面對(duì)分布式存儲(chǔ)的時(shí)候，分為兩種角度，一種是客戶(hù)側(cè)，一種是運(yùn)維側(cè)，客戶(hù)是上帝，所以不談上帝的操作，專(zhuān)注于運(yùn)維側(cè)的系統(tǒng)構(gòu)建。

其實(shí)所有的系統(tǒng)構(gòu)建，都應(yīng)該分成兩個(gè)緯度，一個(gè)是客戶(hù)緯度，專(zhuān)注于客戶(hù)體驗(yàn)，進(jìn)行各種定制化輸出；一個(gè)是運(yùn)維緯度，專(zhuān)注于底層的運(yùn)維，各種監(jiān)控?cái)?shù)據(jù)，各種操作，都使用白屏的操作，而不是天天命令行操作，使用平臺(tái)層面，可以防止誤操作，系統(tǒng)扛了大部分的責(zé)任，也可以讓運(yùn)維不用每天記憶那些傻逼命令，傻逼參數(shù)，減輕低等級(jí)的操作，讓大腦有更多的空間來(lái)想想其他的事情。。。例如，看看藍(lán)天白日黃昏。。。。

分布式存儲(chǔ)系統(tǒng)是為了解決單機(jī)存儲(chǔ)所存在的容量、性能等瓶頸，以及可用性、擴(kuò)展性等方面的問(wèn)題，通過(guò)把數(shù)據(jù)分散存儲(chǔ)在多臺(tái)存儲(chǔ)設(shè)備上，為大規(guī)模的存儲(chǔ)應(yīng)用提供大容量、高性能、高可用、擴(kuò)展性好的存儲(chǔ)服務(wù)。這一系列的文章介紹一種典型的分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，該系統(tǒng)已經(jīng)服務(wù)大量的業(yè)務(wù)，達(dá)到了數(shù)百T的存儲(chǔ)量，經(jīng)受了海量服務(wù)的考驗(yàn)。

整體架構(gòu)

系統(tǒng)的整體架構(gòu)如下圖所示，其中邏輯層是存儲(chǔ)服務(wù)的使用方。系統(tǒng)由兩大部分組成，一部分是圖中數(shù)據(jù)倉(cāng)庫(kù)包含的模塊，是直接提供數(shù)據(jù)存儲(chǔ)服務(wù)的核心部分，由接入層、數(shù)據(jù)層、配置運(yùn)維中心組成；另一部分是輔助系統(tǒng)，主要負(fù)責(zé)系統(tǒng)的監(jiān)控、運(yùn)維和運(yùn)營(yíng)備份系統(tǒng)、監(jiān)控系統(tǒng)、運(yùn)維管理系統(tǒng)、用戶(hù)運(yùn)營(yíng)系統(tǒng)組成。

一個(gè)數(shù)據(jù)倉(cāng)庫(kù)就是一個(gè)存儲(chǔ)集群，多個(gè)業(yè)務(wù)可以共享一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的資源，我們根據(jù)需求可以部署多個(gè)數(shù)據(jù)倉(cāng)庫(kù)，輔助系統(tǒng)是所有數(shù)據(jù)倉(cāng)庫(kù)共用的。

下面簡(jiǎn)單介紹一下各個(gè)模塊的主要功能。

接入層

接入層主要是提供兩個(gè)功能，一是對(duì)邏輯層訪問(wèn)接入層進(jìn)行負(fù)載均衡；二是實(shí)現(xiàn)數(shù)據(jù)分片，即把訪問(wèn)數(shù)據(jù)的請(qǐng)求轉(zhuǎn)發(fā)數(shù)據(jù)所在的數(shù)據(jù)層設(shè)備。

數(shù)據(jù)層

數(shù)據(jù)層就是存儲(chǔ)數(shù)據(jù)，存儲(chǔ)介質(zhì)可以支持內(nèi)存或SSD。讀寫(xiě)服務(wù)是處理用戶(hù)的讀寫(xiě)請(qǐng)求；同步模塊多份數(shù)據(jù)拷貝之間的主備同步；運(yùn)維工具是用于執(zhí)行主備切換、死機(jī)恢復(fù)、擴(kuò)容等運(yùn)維操作。

配置運(yùn)維中心

配置運(yùn)維中心由3部分組成。配置中心負(fù)責(zé)整個(gè)倉(cāng)庫(kù)的配置維護(hù)和下發(fā)；配額中心負(fù)責(zé)各個(gè)業(yè)務(wù)級(jí)別的容量、流量、CPU等資源的配額管理；運(yùn)維中心用于自動(dòng)或手動(dòng)下發(fā)運(yùn)維命令。

備份系統(tǒng)

備份系統(tǒng)負(fù)責(zé)整個(gè)系統(tǒng)所有業(yè)務(wù)的數(shù)據(jù)備份、回檔和恢復(fù)。流水中心會(huì)記錄所有寫(xiě)操作的流水；任務(wù)中心管理和調(diào)度所有數(shù)據(jù)備份、回檔和恢復(fù)任務(wù)的執(zhí)行。

監(jiān)控系統(tǒng)

監(jiān)控系統(tǒng)對(duì)系統(tǒng)的關(guān)鍵信息和運(yùn)行狀況進(jìn)行上報(bào)和分析，對(duì)異常情況進(jìn)行監(jiān)控和告警。打點(diǎn)上報(bào)是對(duì)系統(tǒng)的關(guān)鍵路徑、異常點(diǎn)等進(jìn)行計(jì)數(shù)或狀態(tài)上報(bào)；多維上報(bào)是對(duì)打點(diǎn)上報(bào)的一個(gè)補(bǔ)充，上報(bào)了更多維度的信息。

運(yùn)維管理系統(tǒng)

運(yùn)維管理系統(tǒng)的使用者是系統(tǒng)運(yùn)維人員，可以方便地進(jìn)行業(yè)務(wù)管理和運(yùn)維操作，如進(jìn)行配置管理、故障管理、業(yè)務(wù)擴(kuò)容等常用操作；還可以查看系統(tǒng)運(yùn)行狀況和業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)。

用戶(hù)運(yùn)營(yíng)系統(tǒng)

用戶(hù)管理系統(tǒng)的使用者是使用存儲(chǔ)服務(wù)的用戶(hù)，用戶(hù)通過(guò)該系統(tǒng)可以掌握所接入業(yè)務(wù)的運(yùn)營(yíng)數(shù)據(jù)，以及進(jìn)行用戶(hù)級(jí)的業(yè)務(wù)管理和運(yùn)維操作，如續(xù)費(fèi)、擴(kuò)容、數(shù)據(jù)清空、數(shù)據(jù)備份、數(shù)據(jù)恢復(fù)等。