在數(shù)字時代,數(shù)據(jù)成為新的生產資料,重要性不言而喻。圍繞數(shù)字化,國家在政策層面持續(xù)發(fā)力,包括“十四五”規(guī)劃到 2035 年的遠景目標多次提到“數(shù)字化”的概念,加快推動數(shù)字產業(yè)化,以及最新公布的“東數(shù)西算”重大工程,這些都與數(shù)據(jù)存儲息息相關。
青云科技(qingcloud.com,股票代碼:688316)存儲產品總監(jiān)馮相東曾表示,青云將場景和算力的變化視為這些年推動整個存儲產業(yè)、存儲形態(tài)往前發(fā)展最主要的兩個因素。“新應用層出不窮,隨之不斷產生新的數(shù)據(jù)形態(tài)。同時,計算形態(tài)的演變對存儲提出的要求也在發(fā)生變化。”
在場景和算力推動整個存儲形態(tài)往前變革的基礎上,如何讓數(shù)據(jù)更好地流動起來,成為企業(yè)關注的焦點。馮相東說,在數(shù)據(jù)流動的完整鏈條里,從最初的采集、處理到后面的歸檔、再利用、銷毀,都會涉及到存儲與大數(shù)據(jù)技術、存儲與AI計算技術的結合,這能讓數(shù)據(jù)更高效地被捕獲、被索引、被分析和被加工,從而實現(xiàn)數(shù)據(jù)層面的點石成金。這也是青云存儲這些年一直在努力研究的一個方向。
青云存儲的特色:專業(yè)、自研
迎接數(shù)字中國的到來,青云存儲做足了工作。馮相東表示,青云存儲的核心特點可以概括為專業(yè)、自研。青云存儲產品線QingStor的特點是更懂算力的存儲平臺。過去10年間,整個青云存儲積淀了多種平臺下,算力和存儲結合的技術實踐,從而在這些實踐基礎上,幫助客戶快速解鎖數(shù)據(jù)的潛能。
專業(yè)存儲服務專業(yè)場景。QingStor 產品線主要有兩款核心產品構成:一是 QingStor NeonSAN,二是QingStor U10000。
其中,作為一款分布式塊存儲,QingStor NeonSAN設計原則是為I/O極致性能而設計,面向的場景是云盤、數(shù)據(jù)庫以及虛擬化存儲資源池場景的應用。
NeonSAN最短的I/O時延可以控制在50微秒左右;只需要3臺NeonSAN節(jié)點,就可以實現(xiàn)100萬IOPS的業(yè)務支持。并且青云存儲已經在金融行業(yè)多個企業(yè)客戶內具有多年穩(wěn)定運行Oracle RAC集群的實踐經驗積累。
相比于NeonSAN主要面向的數(shù)據(jù)庫、虛擬化等結構化數(shù)據(jù)而言,U10000主要面向非結構化數(shù)據(jù)的場景,包括各種影像數(shù)據(jù)、音視頻數(shù)據(jù)、數(shù)據(jù)湖、大數(shù)據(jù)、物聯(lián)網等。U10000幫助客戶更好實現(xiàn)海量數(shù)據(jù)的價值挖掘,產品的核心特點包括:同時提供對象、文件、大數(shù)據(jù)接口,不同協(xié)議之間實現(xiàn)數(shù)據(jù)無損訪問互通;單存儲桶支持100多億個對象,并且性能不會隨之下降。
“兩款產品有各自面向的專業(yè)場景,有各自專業(yè)的分工,我們沒有用一種架構同時滿足結構化和非結構化的數(shù)據(jù)場景。因為從專業(yè)技術的視角來看,存儲架構是沒有銀彈的,沒有哪一種架構能同時做到既能滿足極致的性能設計要求,也能滿足海量數(shù)據(jù)吞吐、計算、并發(fā)利用的需求,這樣的結構是不存在的。青云希望通過專業(yè)的存儲分工能更好地服務專業(yè)的場景。”馮相東說。
青云存儲產品線的另一個重要特點就是真正自研的中國存儲。青云存儲QingStor的兩款核心產品:QingStor NeonSAN和QingStor U10000全部是自主設計,沒有繼承任何開源的架構,不存在任何知識產權的風險。
馮相東表示,為什么青云存儲會走上自研道路?這一方面是來自于青云對技術的追求,另一方面是作為中國云計算公司,青云希望以真正自研的中國存儲服務于數(shù)字中國。“同時,基于開源方案的產品開發(fā)商業(yè)存儲,往往會有很多問題,比如性能表現(xiàn)不佳、開源項目的管制風險等。”
正是基于這些考慮,青云存儲自主研發(fā)使得技術百分百可控,不存在技術盲區(qū)。青云存儲也匹配了一系列的國產化生態(tài),包括從底層的國產芯片、OS、上層PaaS以及SaaS應用,包括鯤鵬、飛騰、海光等目前主流的國產硬件平臺,還有麒麟軟件、統(tǒng)信、openEuler等國產操作系統(tǒng),青云已實現(xiàn)完整的國產化兼容。
青云存儲QingStor U10000
對于青云的存儲產品,我們并不陌生,比如QingStor塊存儲 NeonSAN、QingStor對象存儲、QingStor文件存儲等。
作為青云在多年存儲技術積累基礎上的新品,QingStor U10000繼承了原來青云對象存儲、文件存儲的所有能力,并且在多個維度上實現(xiàn)了產品力的增強和迭代。
QingStor U10000的定位是面向海量非結構化數(shù)據(jù)的統(tǒng)一存儲平臺,幫助客戶把數(shù)據(jù)存得穩(wěn)、算得快、管得好。馮相東說,QingStor U10000主要面向私有云場景,以軟硬一體機、軟件授權等產品形態(tài)提供給客戶,并可以與青云公有云上的對象存儲服務和文件存儲服務進行聯(lián)動。
QingStor U10000相比于之前的QingStor對象存儲和文件存儲,除了產品力的全面繼承,主要在以下幾個方面有一些明顯的提升:功能和性能的增強,實現(xiàn)數(shù)據(jù)協(xié)議的互通,整個算力平臺對接的強化,數(shù)據(jù)安全機制。
例如U10000具備支撐海量數(shù)據(jù)存儲的能力,同時保證提供卓越的性能。U10000的元數(shù)據(jù)和數(shù)據(jù)存儲服務都采用全分布式的架構,最小規(guī)模3節(jié)點起,可以橫向擴展大規(guī)模數(shù)據(jù)存儲集群,并且在所有節(jié)點規(guī)模增長的時候均可以保證性能和容量的線性增長。
U10000提供非常靈活的EC配比的選項(即EC糾刪碼),用戶可以根據(jù)業(yè)務的實際情況選擇合適配比,U10000能提供的最高EC配比可以保證整個集群物理磁盤的得盤率或者可用空間率達到90%以上,處于比較領先的水平。
U10000 在保證線性擴展和高性價比EC集群的基礎上,還能為通用場景,包括海量小文件場景提供卓越的I/O性能。比如,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。
在多協(xié)議無損互通方面,U10000在技術層面提供了統(tǒng)一的索引架構,并且基于統(tǒng)一的索引架構提供多種層次的能力。U10000提供了POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種接口的支持,滿足常見應用。
此外,U10000具備豐富的數(shù)據(jù)處理的功能特性,能夠提供一系列完善的API、SDK,可以輕松地對接大數(shù)據(jù)平臺、數(shù)據(jù)處理的框架和服務,實現(xiàn)數(shù)據(jù)和算力的高效結合,最終讓數(shù)據(jù)實現(xiàn)點石成金。
舉例來看,包括常見的圖片處理、音視頻轉碼、AI大數(shù)據(jù)分析、HPC超算平臺,包括在數(shù)據(jù)生命周期流轉中,經常會用到的數(shù)據(jù)備份歸檔的技術,QingStor U10000都有一整套完善的對接機制,能對接這些算力和計算生態(tài)。
U10000還升級了數(shù)據(jù)安全機制,包括元數(shù)據(jù)和存儲數(shù)據(jù)的分層設計、多重訪問安全機制、智能預警、運維監(jiān)控平臺,保障客戶的數(shù)據(jù)穩(wěn)如泰山。
U10000產品功能的更新是一方面,另一方面是在場景方面的全新思考。青云科技產品技術解決方案總監(jiān)張忠華表示,U10000是以業(yè)務場景為驅動,將SDS平臺作為算力為核心的設計思想進行全面升級的,在互聯(lián)網體檢、智能駕駛、醫(yī)療影像、智能工廠IoT和多元化超算等場景有著廣泛應用。
例如來某智能駕駛科技公司聚焦在于自動駕駛背后的高精度地圖,其數(shù)據(jù)的采集和處理、分析對于存儲性能和擴展性、安全性提出了更高的要求,目前青云提供的存儲集群及資源算力,基本上解決了其高精度地圖從采集、生產、訓練整個生命周期的存儲和算力的需求。
“站在應用場景的角度,客戶越來越傾向于一個整體的方案,而不是組裝的方案。青云的基因是算力,從云而來,向云而去。青云對軟件定義存儲的思考不是孤立的,將核心聚焦在如何滿足算力對存儲的需求上面,讓存儲更好地賦能算力。”張忠華說。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!