當(dāng)前位置:首頁(yè) >  科技 >  IT業(yè)界 >  正文

創(chuàng)新存儲(chǔ)架構(gòu)突破IPFS算力瓶頸 西部數(shù)據(jù)的這些技術(shù)探索

 2021-04-19 10:31  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

隨著疫情的平穩(wěn),2021年CITE也于上周五在中國(guó)創(chuàng)新之都深圳的國(guó)家會(huì)展中心,拉開(kāi)了序幕。在歷經(jīng)了罕見(jiàn)的全球化疫情侵?jǐn)_后,數(shù)據(jù)的價(jià)值進(jìn)一步被放大,在大數(shù)據(jù)的強(qiáng)大算力支持下,智慧醫(yī)療,AI配送,在線教育,云監(jiān)管等一系列,基于數(shù)據(jù)存儲(chǔ)的業(yè)務(wù)在疫情之下實(shí)現(xiàn)了爆發(fā)性的增長(zhǎng),也讓越來(lái)越多的從業(yè)者意識(shí)到數(shù)據(jù)的真正意義。

在此背景下,來(lái)自全球的各大數(shù)據(jù)存儲(chǔ)大廠集結(jié)深圳CITE,共同出席了深圳國(guó)際大數(shù)據(jù)與存儲(chǔ)峰會(huì),并分享了它們對(duì)于大數(shù)據(jù)和存儲(chǔ)產(chǎn)業(yè)的行業(yè)發(fā)展和產(chǎn)業(yè)動(dòng)態(tài)。作為數(shù)據(jù)基礎(chǔ)架構(gòu)提供商的西部數(shù)據(jù),此次也攜眾多合作伙伴共同出席此次峰會(huì),同時(shí),西部數(shù)據(jù)副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼先生,發(fā)表了《創(chuàng)新存儲(chǔ)架構(gòu) 突破IPFS算力瓶頸》的主題演講,引發(fā)行業(yè)熱議。

<西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼>

01 迭代存儲(chǔ)架構(gòu) 高效存儲(chǔ)數(shù)據(jù)撬動(dòng)數(shù)字經(jīng)濟(jì)新動(dòng)能

劉鋼先生一上臺(tái),便以一組數(shù)據(jù)作為引子,與在場(chǎng)的觀眾分享了當(dāng)下和未來(lái)大數(shù)據(jù)存儲(chǔ)的發(fā)展趨勢(shì)。

通過(guò)數(shù)據(jù)表格,可以發(fā)現(xiàn)幾個(gè)有趣的現(xiàn)象,在HDD方面,“在2024年的時(shí)候,以HDD為代表的大數(shù)據(jù)預(yù)計(jì)將增長(zhǎng)到1.62ZB,那從現(xiàn)在開(kāi)始到2024年,年化增長(zhǎng)率在30%左右”,“而在SSD為代表的快數(shù)據(jù)方面,2024年快數(shù)據(jù)存儲(chǔ)預(yù)計(jì)將達(dá)到333EB,年化增長(zhǎng)率幾乎接近50%”,這表明在絕對(duì)增長(zhǎng)上,無(wú)論是大數(shù)據(jù)還是快數(shù)據(jù),都有著相當(dāng)?shù)幕盍蜐摿Α?/p>

<西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼>

而每年產(chǎn)生如此多堪比石油、黃金的數(shù)據(jù),又有多少被安全高效的存儲(chǔ)了呢?答案是大概1.5%,“因?yàn)樵?024年產(chǎn)生的數(shù)據(jù)有143個(gè)ZB,大數(shù)據(jù)只存入了1.62個(gè)ZB,快數(shù)據(jù)333個(gè)EB(0.333ZB),所以加在一起也小于當(dāng)年產(chǎn)生的數(shù)據(jù)的1.5%。”

那么剩余的超過(guò)98%的數(shù)據(jù)為何無(wú)法被安全高效存儲(chǔ)呢?原因在于存儲(chǔ)架構(gòu)的老舊和存儲(chǔ)技術(shù)的落后,劉鋼先生表示,我們需要?jiǎng)?chuàng)新存儲(chǔ)架構(gòu),為更多海量的數(shù)據(jù)進(jìn)行存儲(chǔ)、挖掘和分析,唯有如此,才能更好的利用數(shù)據(jù),撬動(dòng)數(shù)據(jù)經(jīng)濟(jì)的新動(dòng)能。

02 去中心化的IPFS架構(gòu)降低存儲(chǔ)成本 創(chuàng)新存儲(chǔ)架構(gòu)

面對(duì)新興的存儲(chǔ)需求,存儲(chǔ)架構(gòu)的迭代和創(chuàng)新也面臨的諸多的挑戰(zhàn),劉鋼先生總結(jié)到,“創(chuàng)新存儲(chǔ)架構(gòu)的挑戰(zhàn)總結(jié)來(lái)說(shuō)就是用戶既需要大容量、也需要快速訪問(wèn)、又需要低成本、還需要低功耗。那么有沒(méi)有一個(gè)存儲(chǔ)設(shè)備或者一種存儲(chǔ)介質(zhì)能夠同時(shí)滿足這四個(gè)方面的需求?”

實(shí)際上,幾乎很難從存儲(chǔ)設(shè)備或存儲(chǔ)介質(zhì)方面,找到能夠滿足這四個(gè)方面需求的完美解決方案。可當(dāng)你從部分的存儲(chǔ)設(shè)備和介質(zhì)中剝離開(kāi)來(lái),回到整體或系統(tǒng)化的進(jìn)行存儲(chǔ)架構(gòu)的創(chuàng)新時(shí),就會(huì)發(fā)現(xiàn)這個(gè)棘手的問(wèn)題,有了解決的可能。

其中,以去中心化為特點(diǎn)的IPFS存儲(chǔ)架構(gòu),相較于傳統(tǒng)的中心化思路的云存儲(chǔ)服務(wù)商,能夠顯著的節(jié)省它們的服務(wù)提供成本,進(jìn)而降低整體系統(tǒng)的存儲(chǔ)成本。

03大數(shù)據(jù)存儲(chǔ)解決方案:企業(yè)級(jí)高密度的HDD

接下來(lái),劉鋼從傳統(tǒng)大數(shù)據(jù)存儲(chǔ)和新興的快數(shù)據(jù)存儲(chǔ)兩個(gè)方面,為在場(chǎng)的行業(yè)同仁分享了西部數(shù)據(jù)進(jìn)行的一些技術(shù)探索。

在分享技術(shù)探索之前,劉鋼也引入了一個(gè)新的概念和理解,他表示,“數(shù)據(jù)是有價(jià)值的,同時(shí)數(shù)據(jù)也是有分層的,我們把它簡(jiǎn)單分成五層,有極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。”

根據(jù)數(shù)據(jù)分層不同,數(shù)據(jù)延遲,應(yīng)用場(chǎng)景和成本制造也有著明顯的區(qū)別,就以大數(shù)據(jù)存儲(chǔ)而言,基于其少量寫入、大量讀取、大量數(shù)據(jù)的應(yīng)用特性,西部數(shù)據(jù)將其歸為極冷數(shù)據(jù)和冷數(shù)據(jù)類別,并為其提供了業(yè)界單碟最高2.2TB,總?cè)萘窟_(dá)20TB的Ultrastar DC HC650,這是一款定位于極冷數(shù)據(jù)的SMR HDD,更低的TCO&Watt/TB,更小的體積,能夠極大的節(jié)省大數(shù)據(jù)存儲(chǔ)的采購(gòu)和運(yùn)維成本。

當(dāng)然,對(duì)于HDD有著一定性能需求的數(shù)據(jù)中心,西部數(shù)據(jù)也提供了性能更強(qiáng),存儲(chǔ)容量依舊夸張的Ultrastar DC HC550,這款HDD,采用的是CMR架構(gòu),并通過(guò)三級(jí)磁臂設(shè)計(jì),進(jìn)一步提高硬盤性能,同時(shí)在容量方面,也達(dá)到了18TB,能夠滿足以IPFS為代表的眾多服務(wù)商的存儲(chǔ)需求。

無(wú)論是18TB還是20TB,西部數(shù)據(jù)提供的更大容量單盤HDD,能夠顯著的提升單位功耗,降低服務(wù)器基準(zhǔn)成本以及服務(wù)器總體擁有成本,也被包括DropBox在內(nèi)的云服務(wù)商率先進(jìn)行了驗(yàn)證和適用。

<峰會(huì)現(xiàn)場(chǎng)西部數(shù)據(jù)展臺(tái)>

04 快數(shù)據(jù)存儲(chǔ)解決方案:閃存優(yōu)勢(shì)+縱向集成

至于在以SSD為核心,追求高性能計(jì)算的密集型工作負(fù)載,或是主流的讀寫均衡混合型的工作負(fù)載,西部數(shù)據(jù)依舊有一系列針對(duì)性解決方案。

無(wú)論是密集型或是均衡混合型,其背后都需要高性能SSD進(jìn)行硬件支撐。而西部數(shù)據(jù)在SSD領(lǐng)域擁有著多年的研發(fā)經(jīng)驗(yàn)和深厚的技術(shù)積累。

首先是關(guān)于SSD中NAND閃存產(chǎn)量方面,SSD的成本核心在于NAND閃存,而西部數(shù)據(jù)作為全球領(lǐng)先的NAND原廠,和合作伙伴鎧俠一同占據(jù)全球三分之一的原廠份額,同時(shí)西部數(shù)據(jù)擁有穩(wěn)固的NAND產(chǎn)業(yè)領(lǐng)導(dǎo)力,以及固定的NAND技術(shù)投資承諾,使得它能夠在NAND閃存的制造和產(chǎn)能方面有著絕對(duì)話語(yǔ)權(quán)。

其次在閃存技術(shù)方面,劉鋼先生表示,“我們剛剛發(fā)布了第6代3D閃存技術(shù),162層的3D閃存技術(shù),會(huì)進(jìn)一步地縮小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高兩倍以上,輸入輸出的IOPS提高約66%”,隨著第六代3D閃存的問(wèn)世,西部數(shù)據(jù)將繼續(xù)保持在NAND領(lǐng)域的領(lǐng)導(dǎo)地位。

最后,更為關(guān)鍵的是縱向集成優(yōu)勢(shì),SSD作為一個(gè)高度集成化的產(chǎn)物,不僅需要各個(gè)組件的高質(zhì)高性能,更需要有優(yōu)秀和可靠校正和優(yōu)化,進(jìn)而發(fā)揮所有組件的潛能。而西部數(shù)據(jù)集成了完全自主的NAND顆粒,SSD主控器以及固件于一體,能夠輕松完成產(chǎn)品的校正和優(yōu)化,進(jìn)一步提升SSD產(chǎn)品的性能和穩(wěn)定性。

因而,無(wú)論是針對(duì)讀寫均衡的混合工作負(fù)載還是密集型工作負(fù)載,西部數(shù)據(jù)都有能力匹配和提供相應(yīng)的SSD,以滿足客戶需求。

05 IPFS存儲(chǔ)創(chuàng)新解決方案以及合作伙伴的解讀

如果將上述的存儲(chǔ)技術(shù)和存儲(chǔ)架構(gòu)應(yīng)用到IPFS領(lǐng)域,又能產(chǎn)生哪些新應(yīng)用呢?劉鋼分享到,“目前IPFS服務(wù)商的存儲(chǔ)痛點(diǎn),主要有數(shù)據(jù)吞吐量低、空間利用率低、難擴(kuò)容、總體擁有成本高、運(yùn)維低效以及故障懲罰高等,但是通過(guò)西部數(shù)據(jù)提供的一系列存儲(chǔ)新架構(gòu)和存儲(chǔ)新產(chǎn)品,能夠針對(duì)性解決上述諸多問(wèn)題。”

劉鋼再次分享和推薦了,和西部數(shù)據(jù)共同建展的諸多IPFS合作伙伴,并通過(guò)它們的案例為在場(chǎng)從業(yè)者,提供了相應(yīng)的IPFS的存儲(chǔ)解決思路。

首先是西部數(shù)據(jù)、星辰天合、浪潮聯(lián)合推出的IPFS解決方案,通過(guò)部署西部數(shù)據(jù)Ultrastar DC HC550 18TB硬盤,顯著提高了的存儲(chǔ)容量,同時(shí)降低集群的節(jié)點(diǎn)數(shù)量,節(jié)省能耗、機(jī)柜空間等相應(yīng)成本;

其次則是西部數(shù)據(jù)與杉巖數(shù)據(jù)攜手賦能IPFS存儲(chǔ),西部數(shù)據(jù)與杉巖數(shù)據(jù)聯(lián)合推出了融合了杉巖 MOS海量對(duì)象存儲(chǔ)系,Ultrastar DC SN840/640、Ultrastar DC HC550和JBOD存儲(chǔ)平臺(tái)的 IPFS解決方案。通過(guò)構(gòu)建高性能、大容量、低成本、簡(jiǎn)運(yùn)維的存儲(chǔ)方案,極大的降低IPFS業(yè)務(wù)的總體擁有成本,全面提升經(jīng)濟(jì)效益。

< 西部數(shù)據(jù)Ultrastar DC SN840 NVMe SSD和西部數(shù)據(jù)Ultrastar DC HC550 18TB HDD>

最后,西部數(shù)據(jù)還攜手長(zhǎng)城超云打造了IPFS“新范式”,以及牽手靈動(dòng)公司,提供西部數(shù)據(jù)的存儲(chǔ)解決方案,進(jìn)一步提升用戶效應(yīng)。

“所以總結(jié)來(lái)講,針對(duì)Web3.0或者IPFS的基礎(chǔ)設(shè)施架構(gòu),針對(duì)它的存儲(chǔ)集群,我們有高密度的磁盤擴(kuò)展柜、大容量的18T硬盤,還有Ultrastar DC SN640 NVMe SSD來(lái)作為緩存。

針對(duì)它的計(jì)算集群,我們有Ultrastar DC SN640 NVMe SSD,還有Ultrastar DC SN840 NVMe SSD寫密集型的SSD。”

劉鋼在整個(gè)主題演講的末尾做了總結(jié),西部數(shù)據(jù)能為廣大的用戶群體提供的各種不同需求的存儲(chǔ)解決方案。同時(shí),西部數(shù)據(jù)也能夠就IPFS的計(jì)算和存儲(chǔ)優(yōu)化,進(jìn)行更多的技術(shù)合作,共同推動(dòng)未來(lái)數(shù)據(jù)存儲(chǔ)架構(gòu)的激活和發(fā)展。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

  • 鵬云網(wǎng)絡(luò)分布式塊存儲(chǔ)社區(qū)版問(wèn)世,首發(fā)開(kāi)源存儲(chǔ)解決方案

    2023年1月,南京鵬云網(wǎng)絡(luò)科技有限公司(簡(jiǎn)稱:鵬云網(wǎng)絡(luò))正式宣布開(kāi)源ZettaStorDBS分布式塊存儲(chǔ)系統(tǒng),開(kāi)放了自研10余年的分布式塊存儲(chǔ)技術(shù),自此踏上了“自研”與“開(kāi)源”一體并行的生態(tài)閉環(huán)之路。研發(fā)十年,挑戰(zhàn)塊存技術(shù)上限成本、效率、高可用,一直都是企業(yè)IT系統(tǒng)建設(shè)所追求的重要關(guān)鍵點(diǎn),這三點(diǎn)在

  • “效能再進(jìn)化,數(shù)據(jù)更安全”威聯(lián)通舉行QTS 5.1.0及次世代NAS發(fā)布會(huì)

    2023年5月9日,以“效能再進(jìn)化,數(shù)據(jù)更安全”為主題,威聯(lián)通2023年新品發(fā)布會(huì)在上海隆重舉行,多家媒體、合作伙伴及威聯(lián)通愛(ài)好者蒞臨現(xiàn)場(chǎng),共同見(jiàn)證NAS網(wǎng)絡(luò)存儲(chǔ)行業(yè)朝向更高品質(zhì)、更強(qiáng)性能、更好安全性的再次啟航。威聯(lián)通QTS5.1.0系統(tǒng)發(fā)布時(shí)下,網(wǎng)絡(luò)存儲(chǔ)行業(yè)已從萌芽時(shí)代步入增速發(fā)展關(guān)鍵期,用戶對(duì)數(shù)

  • 面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ),QingStor U10000幫助企業(yè)解鎖數(shù)據(jù)價(jià)值

    隨著經(jīng)濟(jì)社會(huì)數(shù)字化轉(zhuǎn)型的加速,各行各業(yè)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)呈現(xiàn)井噴增長(zhǎng)態(tài)勢(shì)。而為了科學(xué)高效地利用這些非結(jié)構(gòu)化數(shù)據(jù),為企業(yè)加速數(shù)字化轉(zhuǎn)型打牢基礎(chǔ),在實(shí)現(xiàn)數(shù)據(jù)穩(wěn)定、專業(yè)的存儲(chǔ)的前提下,推動(dòng)數(shù)據(jù)的合理流動(dòng)是關(guān)鍵。作為業(yè)內(nèi)技術(shù)領(lǐng)先的企業(yè)級(jí)云服務(wù)商與數(shù)字化解決方案提供商,青云科技(qingcloud.com

  • 得一微對(duì)話Arm,打造計(jì)算型存儲(chǔ)新生態(tài)

    高可靠存儲(chǔ)控制芯片、高端汽車存儲(chǔ)芯片等領(lǐng)域都已成為備受矚目的黃金賽道,被持續(xù)加大研發(fā)投入,頗受市場(chǎng)認(rèn)可。在這樣的市場(chǎng)背景下,得一微電子CEO吳大畏與Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健展開(kāi)生態(tài)對(duì)話,圍繞存儲(chǔ)控制技術(shù)及應(yīng)用市場(chǎng)展開(kāi)了探討,雙方將在ComputationalStorage計(jì)算存儲(chǔ)領(lǐng)域芯片

  • 百代可信OSS引領(lǐng)國(guó)產(chǎn)存儲(chǔ)技術(shù)新革命!

    近期互聯(lián)網(wǎng)圈頂流“ChatGPT”憑借著“天上文曲星”般的智能表現(xiàn)火速破圈,在諸如內(nèi)容生成、搜索引擎優(yōu)化、智能問(wèn)答等領(lǐng)域展現(xiàn)出了巨大潛力,引發(fā)了人工智能領(lǐng)域的新一輪技術(shù)升級(jí)與產(chǎn)業(yè)重塑,一個(gè)AI大規(guī)模商業(yè)化的時(shí)代正悄然來(lái)臨。AI大規(guī)模商業(yè)化時(shí)代背景,勢(shì)必伴隨著背后海量級(jí)的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)就是一切,是支撐

熱門排行

信息推薦