近年來，為滿足大規(guī)模的存儲(chǔ)應(yīng)用需求，分布式存儲(chǔ)成為云環(huán)境下存儲(chǔ)底座構(gòu)建的重要選擇，相較于傳統(tǒng)集中式存儲(chǔ)方案的可靠性、安全性以及數(shù)據(jù)利用率較低，分布式存儲(chǔ)具有易擴(kuò)展、高性能、高性價(jià)比、支持分級(jí)存儲(chǔ)、多副本一致性及存儲(chǔ)系統(tǒng)標(biāo)準(zhǔn)化等優(yōu)勢(shì)。

塊存儲(chǔ)作為分布式存儲(chǔ)的一部分，主要為計(jì)算集群虛擬機(jī)、容器提供彈性卷服務(wù)，而彈性卷 EVS 則是當(dāng)前云業(yè)務(wù)平臺(tái)最核心的存儲(chǔ)服務(wù)，對(duì)存儲(chǔ)性能要求極高，基于此，各大云廠商基本采用全閃化形態(tài)部署。

Ceph 則是當(dāng)前業(yè)界應(yīng)用最廣泛的開源分布式存儲(chǔ)軟件，憑借高擴(kuò)展性、高性能、高可靠等特點(diǎn)，同時(shí)支持塊存儲(chǔ)、文件存儲(chǔ)及對(duì)象存儲(chǔ)接口，已成熟應(yīng)用于云計(jì)算的 IAAS 平臺(tái)。為更好地助力分布式塊存儲(chǔ)系統(tǒng)性能及可靠性的提升，憶聯(lián)在 Ceph 平臺(tái)下開展實(shí)測(cè)，本文為此次的測(cè)試結(jié)論。

一、Ceph 簡(jiǎn)介

Ceph 是一個(gè)統(tǒng)一的分布式存儲(chǔ)系統(tǒng)，可提供較好性能、可靠性和擴(kuò)展性，是面向云計(jì)算領(lǐng)域重要的底層存儲(chǔ)系統(tǒng)，已在國(guó)內(nèi)運(yùn)營(yíng)商、政府、金融、互聯(lián)網(wǎng)等多個(gè)行業(yè)落地應(yīng)用。

圖 1：Ceph 技術(shù)架構(gòu)圖

Ceph 主要分為應(yīng)用接口層、存儲(chǔ)基礎(chǔ)接口層、存儲(chǔ)對(duì)象層。接口層主要負(fù)責(zé)客戶端訪問，分為本地語言綁定接口、塊存儲(chǔ)設(shè)備接口和文件系統(tǒng)接口，展現(xiàn)了 Ceph 統(tǒng)一性。

在 Ceph 塊存儲(chǔ)系統(tǒng)中，數(shù)據(jù)以塊的形式存在卷里，塊為應(yīng)用程序提供大存儲(chǔ)容量，可靠性和性能都更高，卷可映射到操作系統(tǒng)中，由文件系統(tǒng)層控制。Ceph 塊存儲(chǔ)系統(tǒng)引入的 RBD（Ceph 塊設(shè)備）協(xié)議為客戶端提供了高可靠、高性能、分布式的塊存儲(chǔ)，同時(shí) RBD 也支持其他的企業(yè)級(jí)特性，例如完整和增量式快照，精簡(jiǎn)的配置，寫時(shí)復(fù)制( copy-on-write)式克隆，以及全內(nèi)存式緩存等，從而大大提高了系統(tǒng)的性能。

圖 2：Ceph 塊存儲(chǔ)組件

二、憶聯(lián) Ceph 存儲(chǔ)方案驗(yàn)證

1.驗(yàn)證環(huán)境

1.1 本次驗(yàn)證硬件配置

1.2本次驗(yàn)證軟件配置

1.3本次驗(yàn)證組網(wǎng)規(guī)劃

圖 3：Ceph 組網(wǎng)規(guī)劃架構(gòu)圖

2、驗(yàn)證方法

步驟 1：創(chuàng)建 RBD pool 和 RBD 卷。配置參數(shù) osd_pool_default_size 確定 RBD Pool 池的副本數(shù)，2 表示兩幅本，3 表示三副本，根據(jù)實(shí)際副本數(shù)需求，將該配置項(xiàng)添加到 ceph.conf 中即可。另外根據(jù)規(guī)劃，需要?jiǎng)?chuàng)建 60 個(gè)大小為 100GiB 的 RBD 卷進(jìn)行 IO 測(cè)試。

步驟 2：下發(fā) IO 測(cè)試前，需對(duì)服務(wù)器和客戶端的 IO、CPU、網(wǎng)絡(luò)進(jìn)行監(jiān)控，每 2 秒采集一次數(shù)據(jù)。

步驟 3：在 6 個(gè)客戶端上同時(shí)對(duì) 60 個(gè) RBD 卷下發(fā) IO，每個(gè)客戶端均需綁核，即每個(gè) fio 綁定不同 cpu 核。

步驟 4：完成 IO 測(cè)試后，需關(guān)閉服務(wù)端和客戶端的 IO、CPU、網(wǎng)絡(luò)進(jìn)行監(jiān)控。

步驟 5：測(cè)試完成后，需匯總所有客戶端 fio 的 BW、IOPS、平均時(shí)延，匯總對(duì)應(yīng)的監(jiān)控?cái)?shù)據(jù)。對(duì)于 BW 和 IOPS，累加各 FIO 對(duì)應(yīng)結(jié)果即可；對(duì)于平均時(shí)延，累加之后需求平均值。

3、驗(yàn)證結(jié)果

本次在 Ceph 場(chǎng)景下驗(yàn)證結(jié)果如下：

①、憶聯(lián) UH8 系 SSD 在隨機(jī)讀及順序讀下的表現(xiàn)。

圖 4：Ceph 場(chǎng)景下憶聯(lián) UH8 系 SSD 讀性能

從圖 4 可以看出，在 Ceph 分布式存儲(chǔ)系統(tǒng)下，不論是二副本還是三副本，憶聯(lián) UH8 系 SSD 的讀性能基本持平。在時(shí)延方面，二副本與三副本趨勢(shì)基本一致，1QD 至 32QD 間較為穩(wěn)定，在 32QD 后時(shí)延明顯增加。

②、憶聯(lián) UH8 系 SSD 在隨機(jī)寫及順序?qū)懴碌谋憩F(xiàn)。

圖 5：Ceph 場(chǎng)景下憶聯(lián) UH8 系 SSD 寫性能

如圖 5 所示，不論是在隨機(jī)寫還是在順序?qū)憳I(yè)務(wù)下，二副本寫性能遠(yuǎn)高于三副本性能，主要是由于副本復(fù)制帶來的網(wǎng)絡(luò)及存儲(chǔ)開銷，造成三副本寫帶寬及寫 IOPS 下降明顯。在總體時(shí)延表現(xiàn)上，二副本明顯優(yōu)于三副本。在時(shí)延變化趨勢(shì)上，二副本與三副本基本一致，皆在 32QD 后有比較顯著的上升。

③、憶聯(lián) UH8 系 SSD 在混合讀寫場(chǎng)景下的表現(xiàn)。

圖 6：Ceph 場(chǎng)景下憶聯(lián) UH8 系 SSD 混合讀寫性能

從圖 6 可以看出，在 4K 7:3 混合讀寫業(yè)務(wù)場(chǎng)景下，從 16QD 起，二副本 IOPS 性能優(yōu)于三副本。在時(shí)延整體表現(xiàn)上，二副本低于三副本，但在時(shí)延變化趨勢(shì)上，二副本與三副本基本一致，時(shí)延從 32QD 起，明顯上升。

小結(jié)：從 Ceph 讀、寫、混合讀寫業(yè)務(wù)場(chǎng)景的實(shí)測(cè)數(shù)據(jù)中，可以看到憶聯(lián) SSD 整體表現(xiàn)優(yōu)秀，可為 Ceph 環(huán)境提供極致存儲(chǔ)性能。在時(shí)延上，憶聯(lián) SSD 在 32QD 及以下場(chǎng)景中，表現(xiàn)亮眼，可獲得更佳的時(shí)延體驗(yàn)。

④、智能多流降 WA，有效提升 SSD 壽命

為更好解決讀寫機(jī)制帶來的寫放大而造成的 SSD 性能損耗及使用壽命縮短，憶聯(lián)推出 SSD 的智能多流特性，通過智能冷熱數(shù)據(jù)分類算法，有效提高 GC（垃圾回收）時(shí)的效率，減少寫放大，提升 SSD 性能。

圖 7：Ceph 場(chǎng)景下智能多流特性測(cè)試

在 Ceph 方案中，基于標(biāo)準(zhǔn) JESD 219 業(yè)務(wù)模型，針對(duì) SSD 分別開啟、關(guān)閉智能多流進(jìn)行寫放大測(cè)試，通過圖 7 對(duì)比驗(yàn)證結(jié)果可以看到憶聯(lián)智能多流（IMS）開啟后，SSD 寫放大降低 20%+，極大提升了 SSD 壽命。

本次驗(yàn)證證明了憶聯(lián) SSD 在 Ceph 分布式存儲(chǔ)系統(tǒng)中的穩(wěn)定性能，可有效支撐 Ceph 的存儲(chǔ)需求，為 Ceph 提供始終如一的高性能，成為軟件定義存儲(chǔ)解決方案最優(yōu)的選擇。同時(shí)，憶聯(lián) SSD 獨(dú)有的智能多流技術(shù)可降低分布式存儲(chǔ)場(chǎng)景下 SSD 寫放大，提升 SSD 壽命，幫助用戶減少總體 TCO。對(duì)于 Ceph 分布式存儲(chǔ)系統(tǒng)而言，憶聯(lián) SSD 是一個(gè)可真正做到高性能、高可靠、低成本的存儲(chǔ)解決方案。

長(zhǎng)按識(shí)別關(guān)注更多憶聯(lián)資訊

了解更多：

下一代ZNS？淺談FDP在企業(yè)級(jí)SSD應(yīng)用前景

國(guó)慶特輯|憶聯(lián)SSD通過極端壓力中子實(shí)驗(yàn)，為數(shù)字中國(guó)建設(shè)提質(zhì)增速

憶聯(lián)UH711a獲紅帽生態(tài)系統(tǒng)認(rèn)證，成功入選紅帽生態(tài)名錄