在數(shù)字經(jīng)濟(jì)時(shí)代，算力資源已經(jīng)成為新的“能源”，為人工智能、云計(jì)算等等科技界前沿領(lǐng)域持續(xù)供能。5月9日，數(shù)云原力大會(huì)2024在神州數(shù)碼國際創(chuàng)新中心（IIC）盛大召開。在開幕式上，神州數(shù)碼副總裁、神州數(shù)碼信創(chuàng)控股董事長韓智敏重磅發(fā)布新一代神州鯤泰綠色異構(gòu)智算中心全液冷整機(jī)柜新品，在異構(gòu)智算的時(shí)代，通過軟硬件協(xié)同創(chuàng)新，為客戶提供性能強(qiáng)、能效高、節(jié)能環(huán)保的新選擇。
神州數(shù)碼副總裁、神州數(shù)碼信創(chuàng)控股董事長韓智敏
異構(gòu)智算時(shí)代，企業(yè)智算落地如何兼顧效率與成本？
我們迎來了一個(gè)全新的異構(gòu)智算時(shí)代。在當(dāng)前的算力環(huán)境下，多云異構(gòu)智算基礎(chǔ)設(shè)施已成為必然。異構(gòu)算力資源如何得到充分利用？在混合云部署下，如何應(yīng)對算力構(gòu)建選型、部署、運(yùn)維復(fù)雜度和難度的挑戰(zhàn)？這個(gè)獨(dú)特的“智算攢機(jī)時(shí)代”，正在呼喚全新的智算架構(gòu)。
與此同時(shí)，隨著大模型和生成式AI加速落地，大量的模型訓(xùn)練和推理任務(wù)，在喚醒底層算力海量需求的同時(shí)，也對資源利用率提出了巨大挑戰(zhàn)。有關(guān)資料顯示，OpenAI訓(xùn)練GPT-4的MFU（Model Flops Utility）在32%到36%之間。而目前行業(yè)MFU利用率的平均水平僅為30%~40%，智算資源利用率尚有很大的提升空間，利用率提升也將為企業(yè)節(jié)省大量成本。
能耗是另一個(gè)大的挑戰(zhàn)，算力本身會(huì)成為主要的能耗和二氧化碳排放來源。明顯可預(yù)見的就是，GPU的能耗本身是CPU能耗的2倍以上。根據(jù)MIT研究表明，未來人類需要為人工智能相關(guān)應(yīng)用新增10%的能源需求。也就是說，“煉”大模型會(huì)比煉鋼還費(fèi)電。對于一個(gè)企業(yè)來說，每新增一個(gè)用于智算的機(jī)架，其運(yùn)行一年約等于增加15w度電，約等于100個(gè)家庭的年用電量，約等于1.5噸二氧化碳排放，能耗和碳排放十分巨大。
盡精微，神州鯤泰異“雙管齊下”提升算力資源利用率
神州鯤泰推出HISO異構(gòu)智算調(diào)度運(yùn)營平臺(tái)、HICA異構(gòu)智算加速平臺(tái)，有效解決智算集群間以及集群內(nèi)面臨的復(fù)雜異構(gòu)兼容問題，并顯著提升算力資源的利用率。
HISO異構(gòu)智算調(diào)度運(yùn)營平臺(tái)，基于云原生技術(shù)，整合GPU硬分片和虛擬分片技術(shù)，能實(shí)現(xiàn)GPU資源虛擬化或池化，完成跨集群之間的算力調(diào)度。根據(jù)用戶業(yè)務(wù)需求，該平臺(tái)可以在整個(gè)異構(gòu)智算資源池中匹配優(yōu)選算力組合，提升GPU服務(wù)器集群的資源使用率。HISO異構(gòu)智算調(diào)度運(yùn)營平臺(tái)擁有將國內(nèi)外GPU資源混合組網(wǎng)、混搭調(diào)度，算力精細(xì)隔離等關(guān)鍵能力，可以“像管理一臺(tái)GPU主機(jī)一樣，管理和調(diào)度多個(gè)集群的GPU資源”。通過GPU容器直通、IaaS卸載，該平臺(tái)加速了模型加載時(shí)間，相比傳統(tǒng)方式，模型加載速度提升３倍。同時(shí)還能實(shí)時(shí)收集智算中心全棧、全鏈路指標(biāo)，發(fā)現(xiàn)和定位軟硬件故障，實(shí)現(xiàn)算力可觀測性。
HICA異構(gòu)智算加速平臺(tái)則著重解決集群內(nèi)部的算力調(diào)度優(yōu)化問題，通過屏蔽集群內(nèi)底層算力生態(tài)差異，突破關(guān)鍵計(jì)算效率瓶頸，有效提升算力利用率與可用性。HICA異構(gòu)智算加速平臺(tái)通過自研的服務(wù)層、中間適配層以及調(diào)度編排算法，采用數(shù)據(jù)并行、模型并行等方式，把并行計(jì)算任務(wù)進(jìn)行有效分解，匹配相應(yīng)的軟件棧和算力資源來承接。當(dāng)GPU資源變化，該平臺(tái)可以實(shí)時(shí)動(dòng)態(tài)調(diào)度計(jì)算子任務(wù)并調(diào)整模型拓?fù)浜图軜?gòu)，以充分聚合各種算力資源。
HICA異構(gòu)智算加速平臺(tái)具有一云多芯特性，支持國內(nèi)外主流AI芯片，可實(shí)現(xiàn)訓(xùn)練推理任務(wù)在不同品牌、不同型號芯片組成的智算集群中的混合訓(xùn)練推理，預(yù)計(jì)可降低20%閑置算力。
此外，根據(jù)不同模型、不同算子之間集合通信流特點(diǎn)，該平臺(tái)還可自適應(yīng)選擇最合適的通信參數(shù)，達(dá)到更高的通信效率。同時(shí)，在不同模型運(yùn)行過程中，充分考慮存算比要求的不同，HICA異構(gòu)智算加速平臺(tái)還可從宏觀到微觀多個(gè)尺度選擇最合適的存算比資源加載模型，加速吞吐，降低時(shí)延，使MFU提升10~20%，MBU提升5%。
硅光+液冷，一體化交付冷卻跳動(dòng)的電表
隨著生成式AI落地對算力需求的暴漲、帶寬的狂飆提速，智算中心節(jié)點(diǎn)的高能耗痛點(diǎn)日益加劇。而以一個(gè)萬卡智算中心為例，采用200G接口互聯(lián)，需要約80000個(gè)光模塊，其互聯(lián)所需的能耗則占到總體的5%。節(jié)點(diǎn)間互聯(lián)的高能耗問題也日益凸顯。
針對節(jié)點(diǎn)間互聯(lián)的能耗問題，神州鯤泰采用硅光技術(shù)，通過單光源多調(diào)制器，降低調(diào)制器電壓，同時(shí)采用分布式反饋激光器等一系列技術(shù)，有效降低25%的互聯(lián)能耗。
同時(shí)，針對節(jié)點(diǎn)的能耗問題，神州鯤泰推出液冷服務(wù)器，通過一體化冷板，智能流量調(diào)節(jié)來提升系統(tǒng)的散熱效率，采用負(fù)壓管線系統(tǒng)，漏液近端探測技術(shù)，并聯(lián)動(dòng)服務(wù)管控系統(tǒng)提升冷卻系統(tǒng)的可靠性，有效降低30%的節(jié)點(diǎn)能耗。
而為了幫助客戶規(guī)避接口多、接頭復(fù)雜、現(xiàn)場實(shí)施部署難度大、實(shí)施周期長等難題，數(shù)云原力大會(huì)2024開幕式上，神州鯤泰正式發(fā)布“KunTai Pod2000全液冷整機(jī)柜”方案產(chǎn)品。采用一體化交付方式，有效降低部署和運(yùn)維的復(fù)雜度的同時(shí)，整機(jī)柜還能實(shí)現(xiàn)100%全液冷及高性價(jià)比液冷方案，助力數(shù)據(jù)中心PUE邁向1.15，并且憑借60KW+的最大單柜功率，實(shí)現(xiàn)1.5倍于行業(yè)平均水平的能效比，在為客戶提供強(qiáng)打算力的同時(shí)有效控制能耗成本。
隨著2022年底ChatGPT的問世，AI正成為推動(dòng)創(chuàng)新的核心引擎。現(xiàn)在的IT基礎(chǔ)架構(gòu)已經(jīng)到了一個(gè)由模型和算力相互促進(jìn)，螺旋上升的新發(fā)展階段。面對新的發(fā)展機(jī)遇，神州鯤泰從智算中心系統(tǒng)整體性能提升出發(fā)，提出了走新智算架構(gòu)之路的策略，建立了高通量、高并行、高效率，低能耗的多樣化智算架構(gòu)。新的智算架構(gòu)能夠快部署、低投入地突破算力瓶頸，構(gòu)建出性能更優(yōu)、成本更低、能效更高的智算中心。未來每個(gè)智算中心，每臺(tái)計(jì)算機(jī)都將是這樣一種新的智算架構(gòu)，從而實(shí)現(xiàn)算力的普惠。
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
