當(dāng)前位置:首頁(yè) >  IDC >  云計(jì)算 >  正文

青云QingCloud 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) U10000 在海量小文件場(chǎng)景的應(yīng)用

 2023-08-30 18:01  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

青云科技(qingcloud.com)QingStor U10000作為一款分布式存儲(chǔ),在支持線性擴(kuò)展上表現(xiàn)不俗。U10000最低3節(jié)點(diǎn)起步,隨著節(jié)點(diǎn)數(shù)量的增長(zhǎng),存儲(chǔ)容量和存儲(chǔ)集群的性能都會(huì)線性增長(zhǎng)。

U10000的存儲(chǔ)效率比較高。通過(guò)可靈活配置的EC糾刪碼,能讓整個(gè)集群的物理磁盤(pán)可用空間達(dá)到90%以上,存儲(chǔ)效率對(duì)于U10000這種超大容量存儲(chǔ)來(lái)說(shuō),經(jīng)濟(jì)意義特別大。

U10000在支持線性擴(kuò)展和EC糾刪碼技術(shù)的基礎(chǔ)上,能為海量小文件提供高性能讀寫(xiě),單桶單目錄能支持百億級(jí)小文件存儲(chǔ),并且能做到性能不衰減。

海量小文件的性能表現(xiàn)受到越來(lái)越多關(guān)注,比如,在機(jī)器學(xué)習(xí)場(chǎng)景中,就需要大量小文件,一些訓(xùn)練需要幾億甚至十幾億的文件,存儲(chǔ)性能問(wèn)題會(huì)嚴(yán)重影響訓(xùn)練效率。U10000基于Rust語(yǔ)言編寫(xiě),在性能和安全性上有較大提升。

在數(shù)據(jù)安全性機(jī)制方面,數(shù)據(jù)層面采用的是多副本技術(shù),而元數(shù)據(jù)則進(jìn)行了強(qiáng)一致性處理,元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)進(jìn)行了分層設(shè)計(jì)。此外,U10000還有多重訪問(wèn)安全機(jī)制、智能預(yù)警機(jī)制。

在運(yùn)維管理方面,提供了友好的可視化管理界面,可以更好地對(duì)存儲(chǔ)集群進(jìn)行各種配置、操作和監(jiān)控。

U10000 其實(shí)已經(jīng)在非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)場(chǎng)景上有不少創(chuàng)新實(shí)踐。

慈銘體檢醫(yī)療集團(tuán)的體檢服務(wù)從預(yù)約階段到報(bào)告獲取都轉(zhuǎn)到了線上,體檢報(bào)告除了可以查看體檢數(shù)據(jù),還可以查看健康態(tài)勢(shì),背后依靠的是一套數(shù)據(jù)分析平臺(tái)。

青云幫助該醫(yī)療集團(tuán)構(gòu)建了業(yè)務(wù)承載平臺(tái),使用了青云云易捷超融合平臺(tái),存儲(chǔ)部分則是將數(shù)據(jù)與U10000對(duì)象存儲(chǔ)做對(duì)接后,實(shí)現(xiàn)了對(duì)PACS系統(tǒng)的影像數(shù)據(jù)進(jìn)行實(shí)時(shí)調(diào)取和長(zhǎng)期存儲(chǔ),其中就用到了U10000協(xié)議互通的特性,實(shí)現(xiàn)了對(duì)象和文件互通,為AI醫(yī)療相關(guān)的創(chuàng)新應(yīng)用提供了便利。

某智能駕駛科技公司,其自動(dòng)駕駛研究業(yè)務(wù)的開(kāi)展離不開(kāi)高精度地圖,高精度地圖需要采集大量圖片和視頻數(shù)據(jù),采集而來(lái)的數(shù)據(jù)需要經(jīng)過(guò)多重處理,需要與各種數(shù)據(jù)分析和數(shù)據(jù)存儲(chǔ)平臺(tái)交互,在這種場(chǎng)景下,U10000協(xié)議互通的優(yōu)勢(shì)也能得到充分發(fā)揮。

在早期,其所有業(yè)務(wù)都運(yùn)行在公有云上,處于安全方面的考慮,開(kāi)始構(gòu)建私有化的集群,由于該公司的規(guī)模比較大,對(duì)于服務(wù)提供商的能力要求也很高,青云的方案基本解決其高精度地圖從數(shù)據(jù)采集、生產(chǎn)、訓(xùn)練整個(gè)生命周期的存儲(chǔ)和算力需求。

蘇州華興源創(chuàng)是一家工業(yè)自動(dòng)測(cè)試設(shè)備與整線系統(tǒng)解決方案提供商,主要測(cè)試產(chǎn)品用于LCD、柔性O(shè)LED、半導(dǎo)體、新能源汽車(chē)電子等行業(yè)的生產(chǎn)廠家,以及為行業(yè)提供定制化的數(shù)據(jù)融合軟件平臺(tái)。

華興源創(chuàng)的數(shù)據(jù)挑戰(zhàn)來(lái)自自有數(shù)據(jù)中心的中臺(tái)、上層工廠流程再造、供應(yīng)鏈優(yōu)化以及安全保障四個(gè)方面,涉及到上百套業(yè)務(wù)系統(tǒng),有各種各樣類(lèi)型的數(shù)據(jù),業(yè)務(wù)平臺(tái)對(duì)存儲(chǔ)的需求也各不相同。

比如,關(guān)鍵業(yè)務(wù)數(shù)據(jù)需要有更多副本的存儲(chǔ),對(duì)性能要求高的應(yīng)用需要全閃存的存儲(chǔ)配置,數(shù)據(jù)增長(zhǎng)快的應(yīng)用需要擴(kuò)展能力更強(qiáng)的存儲(chǔ),而這些需求,絕大部分都由QingStor U10000來(lái)滿足,其余需求由NeonSAN塊存儲(chǔ)系統(tǒng)來(lái)滿足。

清華大學(xué)天津電子信息研究院是清華大學(xué)電子信息學(xué)科的 “產(chǎn)學(xué)研一體化”的成果轉(zhuǎn)化基地,其中的高端光電子芯片創(chuàng)新中心,從事芯片設(shè)計(jì)和開(kāi)發(fā)方面工作,有許多EDA(電子設(shè)計(jì)自動(dòng)化)設(shè)計(jì)需求,需要反復(fù)運(yùn)算、驗(yàn)證,所以,他們對(duì)于數(shù)據(jù)存儲(chǔ)系統(tǒng)的要求也很高。

EDA的前端設(shè)計(jì)階段會(huì)出現(xiàn)大量的隨機(jī)讀寫(xiě)操作,后端設(shè)計(jì)階段需要大量順序讀寫(xiě)操作,這對(duì)存儲(chǔ)系統(tǒng)的綜合能力要求很高,非??简?yàn)分布式存儲(chǔ)架構(gòu)的設(shè)計(jì)能力,實(shí)際上,U10000也能很好地滿足其需求。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
數(shù)據(jù)存儲(chǔ)

相關(guān)文章

  • 青云QingCloud “很能存”的非結(jié)構(gòu)化存儲(chǔ) U10000

    IDC此前的數(shù)據(jù)顯示,2018年,全球數(shù)據(jù)量為33ZB,而在2025年,全球數(shù)據(jù)量將達(dá)到175ZB,這其中有80%都是非結(jié)構(gòu)化數(shù)據(jù)。宏觀的數(shù)據(jù)趨勢(shì)令人驚嘆,存儲(chǔ)廠商的反應(yīng)更真實(shí)。這從青云科技(qingcloud.com)存儲(chǔ)QingStor的產(chǎn)品線調(diào)整,也可見(jiàn)一斑。青云在成立之初主要提供公有云服務(wù),

  • 上海攝影展新品發(fā)布,lexar雷克沙開(kāi)創(chuàng)高端存儲(chǔ)新篇章

    8月10日,第24屆上海國(guó)際攝影器材和數(shù)碼影像展覽會(huì)(以下簡(jiǎn)稱P&IShanghai)在上海新國(guó)際博覽中心隆重開(kāi)幕。在此次展會(huì)上,Lexar雷克沙不僅帶來(lái)了全新升級(jí)的影像存儲(chǔ)產(chǎn)品系列,還啟動(dòng)了記憶之城·2023影像創(chuàng)作大賽,并在現(xiàn)場(chǎng)舉辦了《上海記憶》視覺(jué)文獻(xiàn)展和多場(chǎng)攝影講座。旗艦品質(zhì)引領(lǐng)創(chuàng)新P&IS

  • 鵬云網(wǎng)絡(luò)分布式塊存儲(chǔ)社區(qū)版問(wèn)世,首發(fā)開(kāi)源存儲(chǔ)解決方案

    2023年1月,南京鵬云網(wǎng)絡(luò)科技有限公司(簡(jiǎn)稱:鵬云網(wǎng)絡(luò))正式宣布開(kāi)源ZettaStorDBS分布式塊存儲(chǔ)系統(tǒng),開(kāi)放了自研10余年的分布式塊存儲(chǔ)技術(shù),自此踏上了“自研”與“開(kāi)源”一體并行的生態(tài)閉環(huán)之路。研發(fā)十年,挑戰(zhàn)塊存技術(shù)上限成本、效率、高可用,一直都是企業(yè)IT系統(tǒng)建設(shè)所追求的重要關(guān)鍵點(diǎn),這三點(diǎn)在

  • “效能再進(jìn)化,數(shù)據(jù)更安全”威聯(lián)通舉行QTS 5.1.0及次世代NAS發(fā)布會(huì)

    2023年5月9日,以“效能再進(jìn)化,數(shù)據(jù)更安全”為主題,威聯(lián)通2023年新品發(fā)布會(huì)在上海隆重舉行,多家媒體、合作伙伴及威聯(lián)通愛(ài)好者蒞臨現(xiàn)場(chǎng),共同見(jiàn)證NAS網(wǎng)絡(luò)存儲(chǔ)行業(yè)朝向更高品質(zhì)、更強(qiáng)性能、更好安全性的再次啟航。威聯(lián)通QTS5.1.0系統(tǒng)發(fā)布時(shí)下,網(wǎng)絡(luò)存儲(chǔ)行業(yè)已從萌芽時(shí)代步入增速發(fā)展關(guān)鍵期,用戶對(duì)數(shù)

  • 面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ),QingStor U10000幫助企業(yè)解鎖數(shù)據(jù)價(jià)值

    隨著經(jīng)濟(jì)社會(huì)數(shù)字化轉(zhuǎn)型的加速,各行各業(yè)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)呈現(xiàn)井噴增長(zhǎng)態(tài)勢(shì)。而為了科學(xué)高效地利用這些非結(jié)構(gòu)化數(shù)據(jù),為企業(yè)加速數(shù)字化轉(zhuǎn)型打牢基礎(chǔ),在實(shí)現(xiàn)數(shù)據(jù)穩(wěn)定、專業(yè)的存儲(chǔ)的前提下,推動(dòng)數(shù)據(jù)的合理流動(dòng)是關(guān)鍵。作為業(yè)內(nèi)技術(shù)領(lǐng)先的企業(yè)級(jí)云服務(wù)商與數(shù)字化解決方案提供商,青云科技(qingcloud.com

熱門(mén)排行

信息推薦