分布式存儲是當前企業(yè)構建高效、彈性數(shù)據(jù)底座的核心選擇,以滿足大規(guī)模數(shù)據(jù)存儲與應用需求。Ceph作為開源分布式存儲的領軍者,具備高擴展性、多協(xié)議支持和成熟生態(tài)的特點,是國內(nèi)運營商、金融、頭部互聯(lián)網(wǎng)公司等各行業(yè)的首選存儲方案。
憶聯(lián)Ceph分布式存儲方案有如下優(yōu)勢:
• 基于PCIe 5.0 ESSD,數(shù)據(jù)吞吐效率為上一代的2倍。
• 創(chuàng)新的智能多流技術,精準適配Ceph數(shù)據(jù)分布特性,性能優(yōu)于同代際主流競品高至3.15%。
• 有效抑制寫放大效應(WAF),優(yōu)于同代際主流競品20%-32%。
方案將SSD預期壽命延長20%以上,實現(xiàn)性能、耐用性與可靠性三重突破,為云原生環(huán)境提供兼具超低延遲與超高一致性的存儲基礎設施,滿足企業(yè)級客戶對存儲系統(tǒng)全生命周期穩(wěn)定性的嚴苛需求。
Ceph分布式存儲挑戰(zhàn)
Ceph通過RBD(RADOS Block Device)提供企業(yè)級塊設備服務,支持快照、克隆、精簡配置等高級功能。然而,在分布式存儲場景下,多副本數(shù)據(jù)一致性、網(wǎng)絡延遲及存儲介質(zhì)性能瓶頸等問題,極易導致寫放大效應加劇,影響SSD壽命及系統(tǒng)穩(wěn)定性。
傳統(tǒng)SSD在應對Ceph讀寫負載時,因冷熱數(shù)據(jù)識別效率低、垃圾回收(GC)策略僵化,導致寫放大系數(shù)居高不下,進而降低SSD壽命并增加時延。憶聯(lián)UH812a/UH832a通過智能多流技術,實現(xiàn)數(shù)據(jù)冷熱分類與IO路徑優(yōu)化,從硬件層面突破這一瓶頸。
憶聯(lián)Ceph分布式存儲方案驗證
測試環(huán)境配置
測試驗證硬件配置如下:
CPU
Intel Xeon Gold 6430 *2
內(nèi)存
256GB (32GB*8 DDR5)
存儲
系統(tǒng)盤:SATA (480GB*2)
數(shù)據(jù)盤:UH812a NVMe SSD(7.68TB*4)
網(wǎng)卡
2端口100GE以太網(wǎng)卡
每臺服務節(jié)點配置2張網(wǎng)卡,每臺客戶端配置單張網(wǎng)卡
測試驗證軟件配置如下:
操作系統(tǒng)
CentOS Stream 9
內(nèi)核
5.14.0-229.el9.x86_64
Ceph版本
17.2.7 Quincy
FIO版本
3.27(帶rbd引擎)
圖1:Ceph組網(wǎng)規(guī)劃架構圖
測試方法
1. 創(chuàng)建存儲池與RBD卷。
• 創(chuàng)建1個RBD儲存池,配置3副本。
• 創(chuàng)建60個100GB RBD卷,占總容量21%。
2. 進行性能測試。
• 每個客戶端指定15個RBD,使用FIO工具向4個客戶端同時下發(fā)IO測試,指定rbd測試引擎,綁定CPU核以減少干擾。
• 用不同模型遍歷測試各種隊列深度(QD)時的Ceph性能,通過監(jiān)控工具記錄服務節(jié)點與客戶端的IO、CPU、網(wǎng)絡數(shù)據(jù)。
3. 進行單節(jié)點WAF對比測試。
• 選取4塊不同友商的PCIe 5.0 ESSD,預埋數(shù)據(jù)將RBD空間順序?qū)?遍,4K隨機寫5小時。
• 采用JESD219業(yè)務模型連續(xù)測試47小時,同步監(jiān)控各SSD的數(shù)據(jù)寫入量,計算WAF(NAND寫入量/主機寫入量)。
驗證結果與分析
性能表現(xiàn)
(1)隨機讀寫與混合讀寫性能
在3副本下,隨著QD數(shù)量的增加,IOPS迅速增加,時延增長緩慢,平均性能優(yōu)于友商1%。
• QD為32時,UH812a隨機讀IOPS突破175.5萬,時延穩(wěn)定在1.1毫秒內(nèi);隨機寫IOPS突破19萬,時延穩(wěn)定在9.9毫秒內(nèi)。
• QD為32時,UH812a混合讀寫IOPS超過50萬,時延約為20毫秒。
圖2:Ceph隨機讀寫性能測試結果
圖3:Ceph隨機混合讀寫性能測試結果
(2)順序讀寫性能
隨著QD數(shù)量的增加(QD在64之內(nèi)),帶寬顯著增長,時延增長緩慢。QD為64時,UH812a順序讀帶寬超過56GB/s,時延為8.85毫秒,平均性能與友商持平;順序?qū)憥挸^15.3GB/s,時延為32.88毫秒,平均帶寬超出友商3.15%,平均時延低于友商1.68%。
圖4:Ceph順序讀性能測試結果
圖5:Ceph順序?qū)懶阅軠y試結果
智能多流技術對WAF的優(yōu)化
UH812a通過智能數(shù)據(jù)分類算法,將元數(shù)據(jù)、日志及用戶數(shù)據(jù)分配至獨立流,減少GC過程中的無效數(shù)據(jù)搬移。本次測試顯示:
• WAF對比:UH812a WAF平均值1.78,低于友商A 25%(2.38)、低于友商B 32%(2.61)、低于友商C 20%(2.22)。
• 壽命提升:WAF降低使UH812a的DWPD有效利用率提升,預計壽命延長20%以上。
圖6:多友商WAF測試結果
憶聯(lián)UH812a/UH832a技術優(yōu)勢總結
智能多流技術
UH812a/UH832a系列采用動態(tài)冷熱數(shù)據(jù)分層機制與多流協(xié)同控制技術,實現(xiàn)1.78超低寫放大系數(shù)(WAF),通過智能化的數(shù)據(jù)生命周期管理,顯著延長SSD使用壽命,對比各友商優(yōu)勢明顯,為高負載企業(yè)級場景提供可靠的存儲保障。
性能一致性
UH812a/UH832a在混合負載及多副本部署場景中,憑借業(yè)界領先的時延控制與帶寬穩(wěn)定性表現(xiàn),有效保障業(yè)務SLA達標,關鍵指標波動率優(yōu)于行業(yè)標準。
高可靠性
UH812a/UH832a通過融合分布式存儲副本策略與糾刪碼(EC)技術,并集成SPDK DIF/DIX的端到端數(shù)據(jù)完整性保護能力,構建了多層次數(shù)據(jù)防護體系,為業(yè)務系統(tǒng)提供符合工業(yè)標準的企業(yè)級端到端數(shù)據(jù)保護。
典型客戶價值
在不同領域,UH812a/UH832a可為運營商、互聯(lián)網(wǎng)、金融等行業(yè)客戶解決特定需求與技術挑戰(zhàn),例如:
• 為運營商行業(yè)提升存儲效率、降低成本:智能多流技術使存儲資源的利用更高效,降低運營商存儲成本,而ESSD的使用壽命提升超過20%,進一步減少更換硬件的頻率與開支。
• 保障頭部互聯(lián)網(wǎng)公司業(yè)務連續(xù)性和用戶體驗:性能一致性確保關鍵業(yè)務的時延和帶寬穩(wěn)定性,幫助大型互聯(lián)網(wǎng)公司在高并發(fā)情況下維持優(yōu)質(zhì)的用戶體驗,確保對最終用戶服務水平協(xié)議(SLA)的達成。
• 強化金融行業(yè)數(shù)據(jù)安全與合規(guī)性:多層次的數(shù)據(jù)防護體系,確保金融數(shù)據(jù)的安全性和完整性,幫助金融機構滿足嚴格的合規(guī)要求,降低數(shù)據(jù)泄露和損失的風險。
結論
憶聯(lián)PCIe 5.0 ESSD借智能多流技術與深度Ceph優(yōu)化,在分布式存儲場景中展現(xiàn)出卓越性能與穩(wěn)定性。WAF指標顯著優(yōu)于主流競品,大幅提升企業(yè)存儲效能超過20%,是構建新一代高度可擴展的分布式存儲系統(tǒng)的理想選擇。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!