文 | 智能相對論
作者 | 葉遠風
18.8萬億美元，這是市場預計2030年AI推動智能經濟可產生的價值總和，其中大模型帶來的AI能力質變無疑成為重要的推動力量。
大模型浪潮下，業(yè)界對AI發(fā)展的三駕馬車——算力、算法、數(shù)據(jù)任何一個維度的關注都到了全新的高度，避免“木桶效應”成為大模型發(fā)展首要考慮的問題。
而在這個過程中，業(yè)界對“數(shù)據(jù)”的關注，往往集中在“量”+“質”上，更龐大的數(shù)據(jù)量與更高的數(shù)據(jù)質量能推動大模型有更好的訓練與應用效果，已經成為共識。
但是，隨著大模型創(chuàng)新對數(shù)據(jù)需求越來越復雜，單單關注數(shù)據(jù)的“量”+“質”已經不夠，能夠承載數(shù)據(jù)、滿足大模型需要的存儲，同樣值得大模型領域從業(yè)者關注。
在剛剛舉辦的華為全聯(lián)接大會2023（HC 2023）上，華為方面系統(tǒng)介紹了其存儲解決方案如何解決大模型訓練與應用痛點、支撐大模型創(chuàng)新進程。
華為的動作，從數(shù)據(jù)維度全景展示了大模型發(fā)展的本質——“數(shù)據(jù)要素”大開發(fā)，以及存儲創(chuàng)新如何為這種本質提供力量，幫助大模型從業(yè)者更好地掘金智能經濟時代。
大模型時代即是數(shù)據(jù)要素時代，存儲作為載體的價值彰顯
毫無疑問，大模型對算力、算法、數(shù)據(jù)的需求都在急速提高。
市場研究統(tǒng)計，過去五年，大模型參數(shù)增加2000倍，所需計算能力增加5萬倍，對數(shù)據(jù)存儲需求增加10萬倍，連帶網絡帶寬需求增加8000倍。
大開大合大需求，需要大設施、大投入。
但是，如果從創(chuàng)新的視角來看，實際上無論是算法還是算力的提供，其難度都在下降或者說收斂。
在很多企業(yè)都頭疼的算力上，雖然需要的量很大，但無非都來自于英偉達、昇騰等GPU硬件資源，是一件主要依賴成本投入的事。換句話說，只要有足夠多的預算，算力資源就能供給上來。
在算法端，雖然各大廠商不斷調優(yōu)迭代，但總體上都在采用Transformer模型基礎架構，基于Pytorch、TensorFlow、MindSpore等主流開發(fā)框架開發(fā)，是逐漸收斂的。
這時候，壓力來到了數(shù)據(jù)這里。
隨著大模型深入發(fā)展，在總量上，數(shù)據(jù)需求早已從TB級躍升到PB級，需要的“池子”越來越大；而同時，對數(shù)據(jù)類型的需求又極大豐富，單一文本的模態(tài)之外，圖片、視頻、語音等多模態(tài)數(shù)據(jù)爆發(fā)，數(shù)據(jù)需求越來越復雜，這些都考驗著存儲的承載力，以及如何在訓練、應用過程中更好地與算力、算法協(xié)同工作。
這期間，諸多難題出現(xiàn)，等待存儲攻克，主要包括：
小文件讀取性能。大模型在數(shù)據(jù)需求上以圖片文本等海量小文件為主，單臺AI服務器每秒能夠讀取2萬多張圖片，這往往會導致數(shù)據(jù)加載效率低（類似于個人PC上的復制動作，同等空間下，內含大量小文件文件夾會比單一大文件要慢很多），影響大模型的訓練效率。此時，海量小文件性能就成為瓶頸，萬億參數(shù)大模型的基礎要求已經達到1000萬IOPS。
CheckPoint斷點續(xù)訓。大模型訓練過程中出于參數(shù)調優(yōu)等各種需求，會在不特定時間點中斷形成CheckPoint，后續(xù)再啟動繼續(xù)訓練（需要時間，形成GPU資源利用的空檔）。這是一種對長時間訓練的模型非常友好的能力，但企業(yè)頻繁參數(shù)調優(yōu)往往會造成GPU利用率降低（目前業(yè)界通常平均每二天就會中斷一次，GPU利用率只有40%），需要存儲具備很強的大文件讀寫性能，才能減少GPU等待時間、提升昂貴資源利用效率。
“AI幻覺”問題。大模型輸出結果“胡編亂造”，與事實明顯沖突的現(xiàn)象是業(yè)界十分頭疼的問題，這種大模型自以為是的現(xiàn)象稱作“AI幻覺”?？雌饋磉@是算法上的問題，但實際上，業(yè)界在探索中逐漸發(fā)現(xiàn)，它的解決需要的是在數(shù)據(jù)層面不斷“求證”（主要是參考上下文信息），本質上要求存儲能夠提供一個類似于“百科詞典”的知識體系，來作為大模型的“海馬體”提供準確的行業(yè)知識。
可以看到，在創(chuàng)新層面，解決大模型在存儲上面臨的挑戰(zhàn)，可能要優(yōu)先于算力和算法。
這一點，其實也讓大模型進一步回歸到本質上，即以參數(shù)量更大的AI模型進一步挖掘數(shù)據(jù)要素的價值，推動千行百業(yè)實現(xiàn)轉型升級。
現(xiàn)在，數(shù)據(jù)要素已經作為數(shù)字經濟和信息社會的核心資源，被認為是繼土地、勞動力、資本、技術之后的又一重要生產要素，包括大模型在內的無數(shù)創(chuàng)新，都是在圍繞數(shù)據(jù)要素進行價值深度開發(fā)。
大模型的發(fā)展過程，可以看作是數(shù)據(jù)要素不斷從原始走向價值輸出的過程。
這一過程中，算法在前方引導方向、走向通用或具體行業(yè)，澎湃的算力帶來強勁的推動力，而存儲則提供支撐與協(xié)同能力。當算力主要依賴成本投入、算法逐步收斂，存儲作為數(shù)據(jù)要素載體的創(chuàng)新價值就越來越凸顯。
讓數(shù)據(jù)要素價值落地，華為存儲多維度出擊解決痛點問題
如何解決存儲面臨的挑戰(zhàn)，華為高性能知識庫存儲OceanStor A800產品與對應解決方案在面向行業(yè)模型訓推場景擁有全面領先的訓推效率，總體而言有四大特點：
1、極高的整體性能，匹配大模型訓練需要
華為存儲首要解決的是在整體性能上滿足大模型對訓練數(shù)據(jù)的龐大需求，尤其是對小文件讀取性能的需求。
OceanStor A800基于創(chuàng)新數(shù)控分離架構，單框IOPS能夠達到2400萬，訓練集加載效率是業(yè)界的4倍，而且可以根據(jù)客戶需求實現(xiàn)性能線性擴展。此外，OceanFS分布式文件系統(tǒng)實現(xiàn)全局均衡打散，消除了CPU瓶頸，能帶來海量小文件性能的極致提升體驗，滿足大量小文件讀取需求。
只要有性能需要，盡管“往上加”，華為存儲都“扛得住”。
2、特殊能力優(yōu)化，滿足斷點續(xù)訓等特定需要
斷點續(xù)訓等特殊情況下如何更好地提供支撐，是華為存儲在大模型訓練階段要同步應對的挑戰(zhàn)。
通過盤控協(xié)同、NFS+并行文件系統(tǒng)，華為存儲實現(xiàn)了單框500GB/s超高帶寬，能夠做到CheckPoint的超快恢復，斷點續(xù)訓恢復速度是業(yè)界3倍，TB級CheckPoint讀寫實現(xiàn)從小時級到分鐘級的跨越（即萬億參數(shù)大模型平均恢復時間小時級提速到分鐘級），減少昂貴的GPU等待。
只要是優(yōu)化大模型需要的，客戶都能夠更加大膽地進行參數(shù)調優(yōu)等操作。
除此之外，其管控面擁有資源分區(qū)+統(tǒng)一調度能力，還能夠讓存儲適合不同的業(yè)務模型。
不管客戶面向什么業(yè)務模型進行開發(fā)，不管客戶在過程中選擇在什么時候暫停，華為存儲都能更好地應對。
3、響應能力強化，滿足大模型應用的實時需求
訓練階段完成后，華為存儲要做的，是在應用階段滿足嚴苛的數(shù)據(jù)響應需要。
目前，在大模型應用階段，得益于內置了向量知識庫（以向量的形式儲存行業(yè)知識），華為存儲的QPS達到了25萬+，已經能夠實現(xiàn)毫秒級響應，一方面能夠加速推理，使得應用過程中的GPU資源消耗大大減少，有效節(jié)約了落地成本——當前很多大模型在開放應用階段的資源消耗十分巨大，有些企業(yè)已經不堪重負；另一方面“百科詞典”使得大模型更具準確的行業(yè)知識，對減少AI幻覺產生起到重要的支撐作用，能大大提升推理的精度。
4、架構創(chuàng)新，保障整體系統(tǒng)的穩(wěn)定可靠
對存儲最后一個也是最基本的要求是，無論具備什么樣的特性，都要保證穩(wěn)定可靠的整體結構，不發(fā)生安全問題、不“掉鏈子”。
華為存儲解決一系列大模型數(shù)據(jù)痛點需求的過程，某種程度上也增加了存儲方案與體系的復雜性，但與此同時，華為并沒有犧牲系統(tǒng)的可靠性，其創(chuàng)新的全互聯(lián)AA架構，能夠實現(xiàn)5層全方位保護與6個9的超高可靠。
由此，大模型的數(shù)據(jù)可靠性及訓練穩(wěn)定性實現(xiàn)了端到端的保障。
造輪者，先行久遠路途
華為存儲能夠解決大模型數(shù)據(jù)痛點問題，根源在于其長期以來在存儲上的創(chuàng)新探索。
OceanStor A800的數(shù)控分離架構，就利用了業(yè)界前沿的數(shù)據(jù)讀寫直通到盤的技術創(chuàng)新，讓數(shù)據(jù)面直通到盤，與控制面分離，實現(xiàn)IO直通，從而減少數(shù)據(jù)讀寫時CPU的運算，大大提升存儲性能。
實際上，華為長期以來在存儲上進行技術耕耘，已經取得了頗多類似的前沿創(chuàng)新成果。
目前，華為OceanStor存儲在全球擁有12個研發(fā)中心、4000+研發(fā)人員、3000+專利，產品涉足高性能NAS存儲解決方案、存儲防勒索解決方案、容器存儲解決方案、數(shù)據(jù)中心虛擬化等多個領域，獲得了廣泛好評。
在全球150多個國家，華為存儲已經服務了包括運營商、金融、政府、能源、醫(yī)療、制造、交通等行業(yè)在內的25000+客戶。
可以說，為數(shù)據(jù)要素價值開發(fā)、為大模型創(chuàng)新需求量身定制的存儲能力，是華為長期以來在存儲賽道上深耕的必然結果——華為存儲早已做好了為眾多領域數(shù)據(jù)需求（不只有大模型）提供強大承載力與協(xié)同力的準備。
*本文圖片均來源于網絡
#智能相對論 Focusing on智能新產業(yè)新服務，這是智能的服務NO.240深度解讀
此內容為【智能相對論】原創(chuàng)，
僅代表個人觀點，未經授權，任何人不得以任何方式使用，包括轉載、摘編、復制或建立鏡像。
部分圖片來自網絡，且未核實版權歸屬，不作為商業(yè)用途，如有侵犯，請作者與我們聯(lián)系。
•AI產業(yè)新媒體;
•澎湃新聞科技榜單月度top5;
•文章長期“霸占”鈦媒體熱門文章排行榜TOP10;
•著有《人工智能 十萬個為什么》
•【重點關注領域】智能家電（含白電、黑電、智能手機、無人機等AIoT設備）、智能駕駛、AI+醫(yī)療、機器人、物聯(lián)網、AI+金融、AI+教育、AR/VR、云計算、開發(fā)者以及背后的芯片、算法等。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
