根據(jù)世界經(jīng)濟論壇的估算，2020年全世界產(chǎn)生了超過44ZB的數(shù)據(jù)量，而在十年前全球的數(shù)據(jù)總量還只有1ZB。
數(shù)據(jù)量的指數(shù)級增長，預示著人類文明徹底進入了數(shù)字化時代，數(shù)據(jù)已經(jīng)成為人類存在的另一種方式。特別是在新基建、數(shù)字經(jīng)濟等宏觀話題大行其道的當下，數(shù)據(jù)的存儲、挖掘、應用早已和經(jīng)濟直接掛鉤。
11月18日的國際超級計算大會SC21上，正式公布了最新的全球IO500榜單。其中華為OceanStor Pacific存儲在IO500榜單和10節(jié)點榜單中均名列第二，刷新了華為覇榜IO500的新紀元。
作為存儲性能最權威的世界排行榜之一，IO500包括總榜單和10節(jié)點榜單兩大類別。由于10節(jié)點榜單將基準性能測試限制為10個計算節(jié)點，可以準確反應存儲系統(tǒng)為實際程序提供的I/O性能，被視為衡量超級計算機應用效率的核心指標。
當華為OceanStor Pacific代表的企業(yè)占領IO500榜單的頭部，乃至將榜單前三名均收入囊中的時候，對整個存儲市場意味著什么？
01 高性能計算三部曲
想要理解數(shù)據(jù)存儲性能的價值所在，似乎有必要回顧下高性能計算（HPC）的進化歷程。畢竟在人類從工業(yè)文明邁向信息文明的過程中，HPC扮演了不可或缺的角色，甚至說是科技創(chuàng)新的典型標桿。
以往在復盤HPC進化史的時候，不少人習慣按照時間軸進行整理，直觀地展現(xiàn)算力上的爆炸性增長。倘若從需求驅(qū)動的思路審視HPC的發(fā)展史，或許可以找到一個新的視角，即應用需求深度影響了HPC的進化方向。
最早的“超級計算機”屬于政府主導的項目，第一臺電子計算機ENIAC的誕生為起點，HPC在長達幾十年的時間里被應用于高能物理、流體力學等學術領域，數(shù)值計算的場景決定了HPC不斷提升計算能力的演變軌跡。
隨著越來越多的商業(yè)公司進入到計算產(chǎn)業(yè)，HPC的應用場景逐步向油氣勘探、氣象預測、芯片研發(fā)等領域傾斜，模擬仿真的需求漸漸超過了數(shù)值計算，HPC的進化不再只是主攻算力，而是存儲、網(wǎng)絡等多元化的性能。
到了2020年前后，自動駕駛、基因測序、深空探索等商業(yè)智能蓬勃向上，HPC的應用場景也進一步轉(zhuǎn)變：需要卷積更多的歷史數(shù)據(jù)參與計算分析，不斷提升分析的精度，對數(shù)據(jù)存儲的性能需求逐漸上升到了新的高度。
正是在這樣的大背景下，John Bent、Julian Kunkel、Jay Lofstead在內(nèi)的學者紛紛推動IO性能的測試方法、基準測試程序和規(guī)則，通過模擬應用需要的不同IO模型，驗證數(shù)據(jù)帶寬（GIB/s）和元數(shù)據(jù)(KIOP/S)兩個關鍵維度的性能表現(xiàn)，并在一些TOP500計算機上進行了測試。
2017年的國際超級計算大會上，VI4IO組織公布了第一份IO500榜單，約定每年在SC和ISC大會上各更新一次排名。
IO500榜單的出現(xiàn)就像是一道江湖集結令，拉開了各路英雄角逐存儲性能的序幕：新興存儲硬件層出不窮，新興文件系統(tǒng)應運而生，標準和架構也不斷推陳出新，數(shù)據(jù)存儲進入了群雄逐鹿的年代。
畢竟HPC領域的所有玩家都明白一個道理：現(xiàn)實中許多場景參與計算的數(shù)據(jù)量已經(jīng)達到了PB級，計算過程中需要頻繁進行訪存操作，存儲性能直接影響著計算的效率，同時對數(shù)據(jù)可靠性和安全性的要求也越來越高。數(shù)據(jù)存儲性能預料之中的成了高性能計算的聚焦點，也是各大廠商的必爭之地。
02 HPDA的產(chǎn)業(yè)態(tài)勢
為何IO500榜單有這么大的魔力？答案還要從需求的變化說起。就像在HPC的進化歷程中，一個明顯的態(tài)勢是從“以計算為中心”到“以數(shù)據(jù)為中心”的轉(zhuǎn)變，進入到了“數(shù)據(jù)密集型”的新階段。
國際權威分析師機構Hyperion Research，曾在2020年對全球HPC市場的增速做出預測：2019年到2024年的時間周期內(nèi)，存儲市場的復合增長率有望達到12.1%，遠高于服務器、中間件、應用、服務等市場。
之所以給出這樣的判斷，離不開一個特定的產(chǎn)業(yè)共識：在自動駕駛、氣象預測、宇宙探索等熱門的應用場景中，HPC和AI、大數(shù)據(jù)的融合越來越緊密，HPC向HPDA（數(shù)據(jù)密集型超算）的演進，屢屢成為行業(yè)論壇上的主流議題。
可以找到的例子有很多。
過去地震勘探是二維的，從二維到三維的演進中，采集和處理的數(shù)據(jù)量增加了5—10倍；電影渲染逐漸從2K向4K乃至8K過渡，對應的數(shù)據(jù)量增加了16倍；衛(wèi)星測繪領域的精度從20米縮小到2米，數(shù)據(jù)量同比增長了70倍……再加上數(shù)據(jù)分析處理的算法越來越復雜，采集、存儲、處理、存檔的數(shù)據(jù)量呈現(xiàn)出爆炸式增長。
然而傳統(tǒng)的HPC存儲主要用于建模和仿真，包括項目文件共享、搜索、歸檔等等，主要是結構化的數(shù)據(jù)，且通常是基于順序的大I/O型。但人工智能的工作流程涉及到數(shù)據(jù)收集、注入、訓練、推理和歸檔，不僅涵蓋結構化和非結構化的數(shù)據(jù)，數(shù)據(jù)存取的場景也更加復雜，AI負載需要順序大I/O型和隨機小I/O型的組合，特別是AI數(shù)據(jù)集標注的元數(shù)據(jù)管理，需要快速的隨機小I/O型。
也就是說，推動數(shù)據(jù)存儲性能不斷提升的因素，絕不只是IO500榜單，而是隱藏在榜單背后的市場需求。傳統(tǒng)HPC的數(shù)據(jù)存儲已經(jīng)跟不上需求，能否打破數(shù)據(jù)存儲、性能、效率的限制，已經(jīng)是HPC產(chǎn)業(yè)革新的掣肘因素。
按照Hyperion Research在《HPDA趨勢白皮書》中的建議，針對HPDA負載中經(jīng)常出現(xiàn)的非結構化數(shù)據(jù)，數(shù)據(jù)存儲應該進行針對性的創(chuàng)新，包括支持不同的I/O模型、支持多協(xié)議訪問、支持各種數(shù)據(jù)訪問頻率、高密度高效設計等等，不斷提升數(shù)據(jù)利用率，進一步釋放數(shù)據(jù)潛力。
恰恰是數(shù)據(jù)存儲的新一輪革命，為華為等企業(yè)提供了重拾話語權的機會，并趁機進行直線超車。
03 華為越級的硬實力
也就解釋了文初的一幕：幾年前的IO500榜單還被Intel、DDN、IBM等企業(yè)占領，當HPC向HPDA演進的時候，華為OceanStor Pacific等新勢力頻頻出現(xiàn)，而且就拿到了讓人振奮的位次。
如同中國超算力量的強勢崛起，華為OceanStor Pacific斬獲IO500榜單全球第二的消息并不令人意外。在這場技術硬實力的較量中，華為OceanStor Pacific的“越級”離不開4000多位研發(fā)人員夜以繼日的努力，以及3000多項專利構成的技術創(chuàng)新，打破了HPC產(chǎn)業(yè)的三重壁壘：
一是多業(yè)務混合負載能力。傳統(tǒng)HPC存儲只支持單一負載，形成了性能上的孤島，導致流程間的數(shù)據(jù)需要在不同存儲間遷移，可以說是效率降低的“元兇”。
華為OceanStor Pacific存儲搭載了新一代并行文件系統(tǒng)，針對傳統(tǒng)HPC的問題進行了對癥下藥：采用目錄DHT分區(qū)、大IO直通小IO聚合、多粒度磁盤空間管理列技術，一套存儲同時實現(xiàn)了大文件高帶寬、小文件高IOPS，配合分布式并行客戶端技術，輕松滿足了客戶對多業(yè)務混合負載的需求。
二是多協(xié)議無損互通方案。在數(shù)據(jù)處理過程中，多樣性的數(shù)據(jù)轉(zhuǎn)化、拷貝、加載等環(huán)節(jié)就占據(jù)了35%以上的時間，人為制造了阻礙效率升維的格式壁壘。
華為OceanStor Pacific的切入點是協(xié)議互通，通過統(tǒng)一的數(shù)據(jù)管理系統(tǒng)和硬件資源池，文件、對象、大數(shù)據(jù)客戶端可以同時讀寫同一個文件，不需要協(xié)議轉(zhuǎn)換的過程，讓數(shù)據(jù)分析的效率提升了30%以上，并且避免了數(shù)據(jù)拷貝產(chǎn)生的冗余副本，節(jié)省了端到端的存儲資源，讓硬件發(fā)揮出極限性能。
三是超高密設計的硬件。當海量數(shù)據(jù)的價值被進一步分析挖掘，就需要保留更多更長久的數(shù)據(jù)資源，對機房空間、功耗、存儲成本等都提出了新的挑戰(zhàn)。
為了解決這些“癢點”，華為OceanStor Pacific推出了系列化超高密硬件，支持不同硬件間的數(shù)據(jù)自動分級，全面降低了HPC場景的存儲成本。以華為OceanStor Pacific 9950為例，每個5U機箱可容納8個存儲節(jié)點，提供128TB至614.4TB裸容量，節(jié)省了60%以上的機柜空間和能耗。
可以看到，華為OceanStor Pacific的軟硬件創(chuàng)新，填補了HPC向HPDA轉(zhuǎn)型的數(shù)據(jù)存儲短板，無形中為HPDA進程按下了“快進鍵”，也為站在轉(zhuǎn)型節(jié)點上的企業(yè)，提供了迎合數(shù)據(jù)密集型趨勢的“理想之選”。
04 寫在最后
衡量一款產(chǎn)品、一家企業(yè)的價值標桿，絕非是這樣或那樣的榜單，倘若只是靜靜地躺在榜單上，再好的結果也沒有太大的意義。盡管是IO500榜單上一鳴驚人的新秀，但華為OceanStor存儲并不讓人陌生。
中石化物探研究院采用華為OceanStor存儲的服務，降低了30%的數(shù)據(jù)存儲成本，勘探效率提升了16%，運維管理成本降低了50%；上海天文臺在華為OceanStor存儲的幫助下，搭建了世界首臺SKA原型機，性能較傳統(tǒng)存儲提升了10倍；華大基因?qū)⑷A為OceanStor存儲用于無創(chuàng)產(chǎn)前基因檢測業(yè)務模型中，數(shù)據(jù)存儲性能提升了30%左右，基因檢測報告從15天壓縮到了7天……
相較于那些為了沖榜而送測的企業(yè)，華為OceanStor Pacific正在以一種潤物細無聲的方式滲透進社會生活的方方面面，幫助千行百業(yè)解決數(shù)據(jù)密集型升級帶來的挑戰(zhàn)，IO500榜單第二的殊榮不過是水到渠成的結果。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
