企業(yè)私有云建設(shè)中的存儲(chǔ)架構(gòu)規(guī)劃

　 阿里云優(yōu)惠券 先領(lǐng)券再下單

和大家一起分享人教社在過(guò)去的6年中，在私有云建設(shè)及存儲(chǔ)系統(tǒng)建設(shè)中的一些經(jīng)驗(yàn)和教訓(xùn)，希望能給各位同仁在數(shù)據(jù)中心建設(shè)，尤其是存儲(chǔ)系統(tǒng)建設(shè)的工作帶來(lái)一些有益的幫助。

談到私有云，相信大家已經(jīng)不陌生了，在最近的兩年，越來(lái)越多的聽(tīng)到我身邊的朋友、同仁的企業(yè)開(kāi)始了私有云建設(shè)，希望通過(guò)數(shù)據(jù)中心技術(shù)的升級(jí)改造，為企業(yè)帶來(lái)更大的業(yè)務(wù)靈活性及更短的IT響應(yīng)時(shí)間。和絕大多數(shù)虛擬化技術(shù)廠商在產(chǎn)品宣傳方面提到的差不多，虛擬化技術(shù)和云計(jì)算確實(shí)具有非常多、非常好的特性，能夠在幫助企業(yè)的IT部門(mén)更快速、更從容的面對(duì)各種業(yè)務(wù)需求變化的同時(shí)，實(shí)現(xiàn)諸如降低IT總體擁有成本以及節(jié)能環(huán)保等目標(biāo)，但是，作為云計(jì)算系統(tǒng)建設(shè)者和管理者的我們，必須同時(shí)意識(shí)到，企業(yè)數(shù)據(jù)中心的核心運(yùn)行方式的轉(zhuǎn)變，絕不僅僅是搭建一套私有云系統(tǒng)，并將業(yè)務(wù)逐步遷移上去那么簡(jiǎn)單。建設(shè)一套能夠完整承載企業(yè)全部IT系統(tǒng)運(yùn)轉(zhuǎn)的私有云系統(tǒng)，是包含了計(jì)算、通訊、存儲(chǔ)系統(tǒng)建設(shè)及建立相應(yīng)的管理模型、監(jiān)控模型、應(yīng)急處置模型、狀態(tài)評(píng)估模型等一系列工作的復(fù)雜系統(tǒng)工程，這些工作，應(yīng)該隨著私有云建設(shè)及應(yīng)用的不斷深入，逐步的建立和完善，最終，建立起一套真正可靠、高效、能夠應(yīng)對(duì)快速業(yè)務(wù)變化及需求的私有云基礎(chǔ)架構(gòu)體系。

人教社對(duì)虛擬化技術(shù)的研究啟動(dòng)于2005年，2008年開(kāi)始小規(guī)模應(yīng)用，2010年完成了約80%業(yè)務(wù)系統(tǒng)的虛擬化工作。截止到上個(gè)月，位于北京魏公村業(yè)務(wù)樓的人教社主數(shù)據(jù)中心已經(jīng)裝備了總計(jì)1008顆CPU核心、5.3TB內(nèi)存、1.2PB儲(chǔ)存能力的私有云系統(tǒng)，承載著包括人教社在內(nèi)的6個(gè)上下屬企業(yè)共300余臺(tái)虛擬服務(wù)器的運(yùn)轉(zhuǎn)，覆蓋了ERP、CRM、ECM、OA、VDI、WCM、網(wǎng)站及數(shù)字出版產(chǎn)品等業(yè)務(wù)類(lèi)型。存儲(chǔ)系統(tǒng)方面，我們主要裝備了IBM DS8870、V7000、V3700磁盤(pán)陣列系統(tǒng)及IBM TS3310磁帶庫(kù)系統(tǒng)，通過(guò)SAN網(wǎng)絡(luò)，為虛擬化計(jì)算節(jié)點(diǎn)提供存儲(chǔ)服務(wù)。

大體的鋪墊我做到這里，下面，我們就進(jìn)入今天的正題。請(qǐng)大家和我一起回顧和總結(jié)一下，一個(gè)出版企業(yè)在私有云建設(shè)中的存儲(chǔ)系統(tǒng)架構(gòu)是如何規(guī)劃和建設(shè)起來(lái)的。

第一個(gè)問(wèn)題，構(gòu)建企業(yè)私有云，對(duì)存儲(chǔ)系統(tǒng)有什么要求？

對(duì)虛擬化技術(shù)不陌生的朋友一定知道，私有云架構(gòu)的核心技術(shù)是服務(wù)器虛擬化，說(shuō)白了，就是對(duì)單體服務(wù)器計(jì)算資源的細(xì)顆粒劃分和利用。在實(shí)際的應(yīng)用場(chǎng)景中，主要體現(xiàn)為在一臺(tái)虛擬化宿主服務(wù)器上運(yùn)行多個(gè)具有獨(dú)立操作系統(tǒng)環(huán)境的虛擬服務(wù)器，從而實(shí)現(xiàn)CPU資源的最大化利用。在一臺(tái)物理服務(wù)器承載了更多計(jì)算需求后，相應(yīng)的存儲(chǔ)需求也就產(chǎn)生了，主要體現(xiàn)在存儲(chǔ)能力和IO能力兩方面；除此之外，要想實(shí)現(xiàn)虛擬服務(wù)器在多臺(tái)物理服務(wù)器間的快速移動(dòng)，還要求我們的存儲(chǔ)系統(tǒng)具備同時(shí)為多臺(tái)服務(wù)器提供同一內(nèi)容數(shù)據(jù)的能力，即共享能力，便于虛擬機(jī)在進(jìn)行宿主服務(wù)器遷移時(shí)，能夠直接將存儲(chǔ)數(shù)據(jù)從源宿主指向到目標(biāo)宿主，并快速激活，而不是通過(guò)緩慢的數(shù)據(jù)拷貝方式；再者，由于要為多臺(tái)宿主服務(wù)器提供存儲(chǔ)服務(wù)，也就意味著虛擬服務(wù)器的正常運(yùn)行依賴(lài)于存儲(chǔ)系統(tǒng)的可靠性，所以，在私有云系統(tǒng)中，對(duì)存儲(chǔ)系統(tǒng)的可靠性要求是有明顯提供的，作為管理者，相信誰(shuí)都不愿意看到因?yàn)榇鎯?chǔ)系統(tǒng)故障，而導(dǎo)致所以業(yè)務(wù)系統(tǒng)停頓的情況；最后，為了確保整套系統(tǒng)的連續(xù)性，存儲(chǔ)系統(tǒng)要具備良好的冗余和維護(hù)能力，在常見(jiàn)的諸如更換磁盤(pán)、更換電池、存儲(chǔ)網(wǎng)絡(luò)維護(hù)的過(guò)程中，無(wú)需停止存儲(chǔ)服務(wù)。

那么，總的來(lái)看，構(gòu)建企業(yè)級(jí)的私有云系統(tǒng)，對(duì)存儲(chǔ)系統(tǒng)的要求就主要包括了存儲(chǔ)能力、IO性能、連接能力、可靠性及可維護(hù)性幾個(gè)方面，另外，作為補(bǔ)充，還包括可擴(kuò)展性、升級(jí)性等方面。

第二個(gè)問(wèn)題，私有云系統(tǒng)中的存儲(chǔ)系統(tǒng)關(guān)鍵指標(biāo)需求如何估算？

前面說(shuō)到的，大家可能會(huì)覺(jué)得沒(méi)有意義，因?yàn)槟壳笆忻嫔箱N(xiāo)售的幾乎所有的存儲(chǔ)系統(tǒng)都能滿足這些要求。但如果我們正在面對(duì)構(gòu)建這樣一套系統(tǒng)，我們?cè)搹哪男┓矫孢M(jìn)行評(píng)估，就要參考前面提到的幾個(gè)關(guān)鍵能力指標(biāo)了。

首先，我們先來(lái)看看關(guān)于設(shè)備的存儲(chǔ)容量，我們?cè)撊绾稳ビ?jì)算呢。和傳統(tǒng)運(yùn)維模式一樣，私有云系統(tǒng)的存儲(chǔ)系統(tǒng)也需要滿足業(yè)務(wù)存儲(chǔ)和數(shù)據(jù)備份的空間需求，同時(shí)，作為虛擬化系統(tǒng)的特性之一，根據(jù)管理需要，我們可能還需要為快照準(zhǔn)備額外的存儲(chǔ)空間，方便我們的測(cè)試、更新和快速備份工作。那么，在存儲(chǔ)容量需求方面，我們的經(jīng)驗(yàn)是，存儲(chǔ)系統(tǒng)的總?cè)萘啃枨?，分為四個(gè)部分，即業(yè)務(wù)需求、備份需求、快照需求及增量需求。其中，業(yè)務(wù)需求就是我們私有云系統(tǒng)需要承載的業(yè)務(wù)負(fù)載所需的真實(shí)存儲(chǔ)需求，主要由操作系統(tǒng)、平臺(tái)軟件及用戶數(shù)據(jù)組成，把所有業(yè)務(wù)系統(tǒng)的這三個(gè)方面的數(shù)據(jù)加起來(lái)，就是我們的業(yè)務(wù)需求容量了。特別需要注意的是，因?yàn)槲覀儗?shù)據(jù)增量單獨(dú)考慮了，所以業(yè)務(wù)需求容量是不包含數(shù)據(jù)增量需求的；接下來(lái)我們來(lái)看看備份需求，在傳統(tǒng)運(yùn)帷模式時(shí)代，我們的備份內(nèi)容主要是數(shù)據(jù)，操作系統(tǒng)、平臺(tái)、配置等內(nèi)容往往不在我們的備份范圍之內(nèi)，原因很簡(jiǎn)單，在傳統(tǒng)運(yùn)帷方式下，受到硬件配置差異及裸系統(tǒng)恢復(fù)不便等限制的影響，全系統(tǒng)備份的實(shí)際價(jià)值和恢復(fù)難度都不理想，在基于虛擬化技術(shù)的私有云平臺(tái)中，這一情況得到了根本的改變。

由于虛擬機(jī)的硬件是被虛擬中間層軟件定義的，這就意味著所有虛擬機(jī)的硬件環(huán)境是可以方便創(chuàng)建和變更，而不再受到物理硬件的影響，使全系統(tǒng)備份和裸系統(tǒng)恢復(fù)變得異常簡(jiǎn)單，所以，在私有云環(huán)境下，全系統(tǒng)部分將成為備份的主體，其存儲(chǔ)資源的需求也就可以基于業(yè)務(wù)服務(wù)器實(shí)際的存儲(chǔ)需求來(lái)估算了。在人教社，我們的常規(guī)業(yè)務(wù)服務(wù)器的數(shù)據(jù)備份存留時(shí)長(zhǎng)為7天，關(guān)鍵業(yè)務(wù)服務(wù)器的數(shù)據(jù)備份則會(huì)超過(guò)半年，總體來(lái)看，數(shù)據(jù)備份所需要的存儲(chǔ)空間，大約使業(yè)務(wù)需求容量的1.5倍左右，即1TB業(yè)務(wù)數(shù)據(jù)，需要1.5TB的備份空間；快照空間需求包含備份用途的快照開(kāi)銷(xiāo)和運(yùn)帷用途的快照開(kāi)銷(xiāo)，其中，備份快照開(kāi)銷(xiāo)主要用于備份過(guò)程中的快速數(shù)據(jù)準(zhǔn)備，而運(yùn)帷用途快照則用于補(bǔ)丁部署和應(yīng)用更新階段的系統(tǒng)快速回滾。備份開(kāi)銷(xiāo)以全平臺(tái)中存儲(chǔ)容量最大的系統(tǒng)的存儲(chǔ)需求為界限，加上未來(lái)一段時(shí)間的數(shù)據(jù)增量即可，例如數(shù)據(jù)密集型的ECM系統(tǒng)的存儲(chǔ)使用為35TB，未來(lái)兩年的數(shù)據(jù)增量約在10TB左右，則準(zhǔn)備45T的備份快照空間即可。這里需要注意的是，快照空間受到單一磁盤(pán)陣列邊界的限制，即如果你有多個(gè)磁盤(pán)陣列系統(tǒng)，則需要在每個(gè)磁盤(pán)陣列上單獨(dú)規(guī)劃備份快照空間。運(yùn)帷快照的磁盤(pán)需求不大，預(yù)留全部業(yè)務(wù)數(shù)據(jù)2%存儲(chǔ)空間即可；最后，對(duì)于數(shù)據(jù)增量的存儲(chǔ)需求，每個(gè)企業(yè)根據(jù)自身業(yè)務(wù)特點(diǎn)的不同有所區(qū)別。人教社的數(shù)據(jù)增量存儲(chǔ)空間保持在業(yè)務(wù)需求、備份需求及快照需求綜合的15%－30％區(qū)間。

說(shuō)完了存儲(chǔ)空間需求，我們?cè)賮?lái)看看IO需求。說(shuō)到IO性能，幾乎所有的技術(shù)控們都會(huì)無(wú)休止的追求更高、更快、更強(qiáng)的目標(biāo)，但在當(dāng)下企業(yè)成本控制越來(lái)越嚴(yán)格的形勢(shì)下，提出合理的IO需求估算，有利于突出選型方案的科學(xué)性。由于各種業(yè)務(wù)系統(tǒng)的IO性能需求存在差異，即使是同一種業(yè)務(wù)系統(tǒng)，在不同企業(yè)的IO消耗也由差別，所以IO性能需求很難用一個(gè)計(jì)算公式去簡(jiǎn)單的核算，但我們依然可以根據(jù)一些經(jīng)驗(yàn)來(lái)宏觀的估計(jì)一套私有云系統(tǒng)的IO需求。以人教社各類(lèi)型的業(yè)務(wù)為例，其IO需求大體情況為：

應(yīng)用 50IOPS 5MB/S 吞吐

數(shù)據(jù)庫(kù) 140IOPS 15MB／S

郵件系統(tǒng)320IOPS 20MB／S

VDI桌面 15IOPS 4MB／S

網(wǎng)站 1400IOPS 18MB／S

文件服務(wù)器 80IOPS 9MB／S

根據(jù)這些參考，我們可以粗曠的估計(jì)出私有云系統(tǒng)的存儲(chǔ)IO需求。除了估算實(shí)際IO需求外，我們還要為IO需求變化及未來(lái)新增IO需求留出空間。當(dāng)估算出總體IO需求后，選擇存儲(chǔ)設(shè)備時(shí)，新設(shè)備的滿配情況下最大IO能力應(yīng)至少高于總體IO需求估值的1.5倍以上，以便在IO性能不足時(shí)，能夠進(jìn)行性能擴(kuò)充。在這里特別需要注意的是，磁盤(pán)陣列系統(tǒng)的IO性能與裝備的磁盤(pán)數(shù)量有直接關(guān)系，即裝備的磁盤(pán)數(shù)量越多，則IO性能越強(qiáng)。對(duì)于IT系統(tǒng)對(duì)IO性能需求比較大的企業(yè)，SSD加磁盤(pán)的混合模式可以在裝備較少磁盤(pán)數(shù)量的情況下，得到幾倍于傳統(tǒng)磁盤(pán)的IO性能，是平衡磁盤(pán)數(shù)量和IO性能的很好手段。

容量需求和IO性能需求是兩個(gè)最關(guān)鍵的指標(biāo)，完成了這兩項(xiàng)需求的估算，基本上就可以開(kāi)始尋找相應(yīng)的陣列產(chǎn)品了。

第三個(gè)問(wèn)題，iSCSI、FC、FCoE如何選？

這是一個(gè)歷史悠久的話題了，大家在度娘上隨便就能找出上千篇相關(guān)文章，在這，我就不做更多的闡述了。在當(dāng)下SAN網(wǎng)絡(luò)的構(gòu)建成本和FCoE系統(tǒng)差距越來(lái)越小的情況下，人教社選擇了SAN，它提供了足夠的性能、可靠性和可管理性，而更重要的是，使用了SAN網(wǎng)絡(luò)，存儲(chǔ)工程師再也不用和網(wǎng)絡(luò)工程師去討論性能分配的問(wèn)題了。

最后一個(gè)問(wèn)題，也是最重要的一個(gè)問(wèn)題，企業(yè)私有云系統(tǒng)的存儲(chǔ)系統(tǒng)架構(gòu)該如何規(guī)劃？

其實(shí)每個(gè)企業(yè)的IT都有自己的特點(diǎn)，任何一種存儲(chǔ)架構(gòu)都有它的優(yōu)勢(shì)和劣勢(shì)，在這和大家分享幾個(gè)我這幾年做私有云存儲(chǔ)系統(tǒng)建設(shè)的小心得，希望能對(duì)大家的存儲(chǔ)系統(tǒng)規(guī)劃有所幫助：

1.部署的陣列系統(tǒng)越少越好，管理更多的陳列，只會(huì)增加工作量。如果已經(jīng)在使用大量小型磁盤(pán)陣列，用一個(gè)大型的代替它們是值得的。

2.盡可能保證架構(gòu)簡(jiǎn)單，能不用FC交換機(jī)就不用。

3.對(duì)于虛擬化系統(tǒng)，快照功能是必須的。

4.陣列的可靠性高于一切，不怕慢，就怕站。

5.如果IO很大，上SSD吧，2％的容量就行。

6.私有云的備份，磁盤(pán)是必選的。

7.對(duì)于私有云，現(xiàn)階段的存儲(chǔ)虛擬化水平是在用人力投入換硬件投入，趨勢(shì)很清楚，人力成本在漲，硬件成本在降，除非你存儲(chǔ)管理經(jīng)驗(yàn)豐富，否則慎用。

8.RemoteMirro是好東西，本地可以做陣列間冗余，遠(yuǎn)程可以做災(zāi)備。

9.不要完全信任集成商，對(duì)于私有云，他們多數(shù)仍在學(xué)習(xí)期，讓自己強(qiáng)大起來(lái)是正道，另外就是相信高手在民間。

10.私有云系統(tǒng)中，存儲(chǔ)系統(tǒng)最重要，搞好了一切就都好了。

更多私有云項(xiàng)目加盟請(qǐng)?jiān)L問(wèn)：http://findingchristbooks.com/xm/list-17.html

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！