域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

文 | 智能相對(duì)論

作者 | 陳泊丞

近半年來，MoE混合專家大模型徹底是火了。

在海外，OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral、xAI的Grok-1等主流大模型都采用了MoE架構(gòu)。而在國(guó)內(nèi)，浪潮信息也剛剛發(fā)布了基于MoE架構(gòu)的“源2.0-M32”開源大模型。

為什么MoE大模型備受矚目，并逐步成為AI行業(yè)的共識(shí)？

知名科學(xué)雜志《Nature》在今年發(fā)表了一篇關(guān)于大模型未來發(fā)展之路的文章，《In Al, is bigger always better?》（人工智能，越大型越好？）。爭(zhēng)議的出現(xiàn)，意味著AI的發(fā)展方向出現(xiàn)了分歧。

如今，“大”不再是模型的唯一追求，綜合應(yīng)用需要關(guān)注模型本身的計(jì)算效率和算力開銷兩大問題成為新的行業(yè)焦點(diǎn)。

浪潮信息人工智能首席科學(xué)家吳韶華在與「智能相對(duì)論」交流時(shí)也強(qiáng)調(diào)，事實(shí)上他們當(dāng)前做的，是在模型能力持續(xù)提升的情況下，盡可能降低它的算力開銷。因?yàn)榻裉齑竽Ｐ捅旧砭褪怯蓛蓚€(gè)主要因素來決定的，一個(gè)是模型能力，一個(gè)是算力開銷。

因此，MoE大模型的盛行，實(shí)際上對(duì)應(yīng)的正是模型能力和算力開銷兩大問題的解決。這也是為什么眾多大模型廠商如OpenAI、谷歌、Mistral AI、浪潮信息等陸續(xù)基于MoE架構(gòu)升級(jí)自家大模型產(chǎn)品的原因。

MoE模型大火的背后，需要厘清三點(diǎn)認(rèn)知

一、解題思路的轉(zhuǎn)變：三個(gè)“臭皮匠”，頂個(gè)“諸葛亮”。

中國(guó)有句古語：術(shù)業(yè)有專攻，正是MoE模型的最直接的工作設(shè)計(jì)思路，即把任務(wù)分門別類，交由不同的“專家”進(jìn)行解決。

如果說稠密（Dense）模型是個(gè)“全才”模型，旨在培養(yǎng)一個(gè)精通各個(gè)領(lǐng)域、能解決多個(gè)問題的“諸葛亮”，那么混合專家（MoE）模型則是個(gè)“專才”模式，側(cè)重于培養(yǎng)多個(gè)“臭皮匠”（即“專家”），配合著以更專業(yè)、更高效的團(tuán)隊(duì)模式解決各種問題。

圖片來源：《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》

由此便不難理解為什么MoE模型會(huì)如此火爆。因?yàn)?，培養(yǎng)一個(gè)“諸葛亮”所需要消耗的資源、成本都太高了，甚至慢慢地超出了普通企業(yè)的承受范圍。根據(jù)計(jì)算，訓(xùn)練一個(gè)5000億參數(shù)規(guī)模的Dense模型，基礎(chǔ)算力設(shè)施投入約10億美金，無故障運(yùn)行21個(gè)月，電費(fèi)約5.3億元——這是現(xiàn)階段無法接受的算力投入。

那么，“三個(gè)臭皮匠”不僅能“頂個(gè)諸葛亮”，同時(shí)培養(yǎng)“三個(gè)臭皮匠”所需要的資源和成本可比培養(yǎng)“諸葛亮”可就相對(duì)簡(jiǎn)單多了。像源2.0-M32在處理邏輯、代碼生成、知識(shí)等方面的能力是可以對(duì)標(biāo)Llama3-700億的，但其所需要但推理算力卻低了一個(gè)量級(jí)，只有Llama3-700億的十九分之一。

相當(dāng)?shù)闹悄芩剑懔ν度雲(yún)s大幅減少，這也就意味著通過模算效率的提升，我們完全可以用更少的算力投入產(chǎn)出更智能的模型。這會(huì)是未來解決算力挑戰(zhàn)的一個(gè)關(guān)鍵思路，MoE模型的大火，所帶來的是一個(gè)AI行業(yè)解題思路的大轉(zhuǎn)變。

二、算法層面的優(yōu)化：三個(gè)“臭皮匠”的搭配和配合是一門藝術(shù)。

雖說“三個(gè)臭皮匠，頂個(gè)諸葛亮”，但是這“三個(gè)臭皮匠”如何選擇、搭配以及配合處理任務(wù)，恰恰才是其“頂個(gè)諸葛亮”的根本。

更直觀的對(duì)比，以古代作戰(zhàn)為例，同樣是一群人打架，為什么散兵游勇很難和正規(guī)軍進(jìn)行對(duì)抗、戰(zhàn)斗？其根本在于正規(guī)軍有專業(yè)的兵種搭配和配合，也就是“兵法”的輔助。放到AI領(lǐng)域，算法即“兵法”。

在MoE模型上，雖說核心思路是一致的，但是關(guān)于門控網(wǎng)絡(luò)的位置、模型、專家數(shù)量、以及MoE與Transformer架構(gòu)的具體結(jié)合方案，各家方案都不盡相同，由此將拉開各家MoE模型在應(yīng)用上的差距。

比如，在算法層面，源2.0-M32就提出并采用了一種新型的算法結(jié)構(gòu)：基于注意力機(jī)制的門控網(wǎng)絡(luò)（Attention Router）。針對(duì)MoE模型核心的專家調(diào)度策略，這種新的算法結(jié)構(gòu)更關(guān)注專家模型之間的協(xié)同性度量，有效解決傳統(tǒng)門控網(wǎng)絡(luò)下，選擇兩個(gè)或多個(gè)專家參與計(jì)算時(shí)關(guān)聯(lián)性缺失的問題，使得專家之間協(xié)同處理數(shù)據(jù)的水平大為提升。

同時(shí)，源2.0-M32采用了源2.0-2B為基礎(chǔ)模型設(shè)計(jì)，由此得以沿用并融合局部過濾增強(qiáng)的注意力機(jī)制（LFA, Localized Filtering-based Attention），通過先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性，然后再計(jì)算全局關(guān)聯(lián)性的方法，能夠更好地學(xué)習(xí)到自然語言的局部和全局的語言特征，對(duì)于自然語言的關(guān)聯(lián)語義理解更準(zhǔn)確，進(jìn)而提升了模型精度。

基于注意力機(jī)制的門控網(wǎng)絡(luò)（Attention Router）

在MoE模型中，算法層面的優(yōu)化將是模算效率提升的一個(gè)很好補(bǔ)充。簡(jiǎn)單來說，“三個(gè)臭皮匠”，能基于算法優(yōu)化而發(fā)揮出更大的價(jià)值，在處理問題上得到更好的反饋。這或許也是接下來各家MoE模型進(jìn)一步拉開差距的關(guān)鍵。

三、數(shù)據(jù)需求的延續(xù)：“諸葛亮”和“臭皮匠”都需要高質(zhì)量的數(shù)據(jù)投喂。

這一點(diǎn)毋庸置疑，“諸葛亮”和“臭皮匠”同屬于“人”，其成長(zhǎng)的根本在于高質(zhì)量知識(shí)的吸收。同樣的，MoE模型和Dense模型也都同屬于AI模型，都需要高質(zhì)量的數(shù)據(jù)投喂，數(shù)據(jù)質(zhì)量越高，對(duì)應(yīng)產(chǎn)出的模型精度越高。

為什么源2.0-M32在代碼生成、代碼理解、代碼推理、數(shù)學(xué)求解等方面有著出色的表現(xiàn)，其根本在于數(shù)據(jù)質(zhì)量。源2.0-M32基于2萬億的token進(jìn)行訓(xùn)練，覆蓋萬億量級(jí)的代碼、中英文書籍、百科、論文及合成數(shù)據(jù)。其中，大幅擴(kuò)展代碼數(shù)據(jù)占比至47.5%，從6類最流行的代碼擴(kuò)充至619類，并通過對(duì)代碼中英文注釋的翻譯，將中文代碼數(shù)據(jù)量增大至1800億token。

總的來說，培養(yǎng)“臭皮匠”與培養(yǎng)“諸葛亮”所需要的資源并沒有太多本質(zhì)上的區(qū)別，只是培養(yǎng)的思路、方法有所優(yōu)化，從而使得我們能用更少的資源、成本就培養(yǎng)出了一個(gè)能相當(dāng)甚至是超過“諸葛亮”的“臭皮匠”智囊團(tuán)。由此，MoE模型成了各大廠商爭(zhēng)先布局的重要方向。

MoE模型普及的關(guān)鍵，仍需要解決最核心的算力問題

正如前面所說，MoE模型和Dense模型同屬于AI，在發(fā)展需要上并沒有太大的本質(zhì)區(qū)別。因此，長(zhǎng)期以來困擾AI發(fā)展的算力問題如算力太貴、算力供給不足、算力資源不平衡、算力利用率低等，還是MoE同樣面對(duì)的，甚至是其走向大眾市場(chǎng)的一個(gè)明顯阻礙。

浪潮信息在發(fā)布源2.0-M32大模型時(shí)，吳韶華就提到，“這個(gè)模型我們?cè)谘邪l(fā)的初衷就是為了大幅提升基礎(chǔ)模型的模算效率，在這里面有兩個(gè)層面，一方面是提升它的精度，另一方面是降低同等精度水平下的算力開銷。”

現(xiàn)如今，很多企業(yè)對(duì)MoE模型的重視大多聚焦模型能力，殊不知算力開銷也是一個(gè)重要考量。若能花更少的算力，辦更多的事情，那么對(duì)于MoE模型而言將是普及的關(guān)鍵。

目前，源2.0-M32大幅提升了模型算力效率，在實(shí)現(xiàn)與業(yè)界領(lǐng)先開源大模型性能相當(dāng)?shù)耐瑫r(shí)，顯著降低了在模型訓(xùn)練、微調(diào)和推理所需的算力開銷。

源2.0-M32業(yè)界主流評(píng)測(cè)任務(wù)表現(xiàn)

其中，在模型推理運(yùn)行階段，源2.0-M32處理每token所需算力僅為7.4Gflops，而LLaMA3-70B所需算力則為140Gflops。在模型微調(diào)訓(xùn)練階段，同樣是對(duì)1萬條平均長(zhǎng)度為1024 token的樣本進(jìn)行全量微調(diào)，源2.0-M32消耗算力約0.0026PD(PetaFLOPs/s-Day)，而LLaMA3消耗算力約為0.05PD。

目前，源2.0-M32的激活參數(shù)為37億，但是卻取得了和700億參數(shù)LLaMA3相當(dāng)?shù)男阅芩?，而所消耗算力僅為L(zhǎng)LaMA3的1/19。如此大幅提升的模算效率，將為企業(yè)開發(fā)應(yīng)用生成式AI提供一條“模型高性能、算力低門檻”的優(yōu)質(zhì)路徑。

根據(jù)浪潮信息透露，源2.0-M32開源大模型配合企業(yè)大模型開發(fā)平臺(tái)EPAI（Enterprise Platform of AI），將助力企業(yè)實(shí)現(xiàn)更快的技術(shù)迭代與高效的應(yīng)用落地。也就是說，在技術(shù)層面，MoE模型將加速普及，而在應(yīng)用層面，源2.0-M32所提升的模算效率，對(duì)模型能力和算力開銷兩大問題的解決將進(jìn)一步加速生成式AI的普及應(yīng)用，讓更多企業(yè)都能享受到AI的時(shí)代紅利。

寫在最后

MoE模型并非人工智能技術(shù)前進(jìn)的終點(diǎn)，更不是大模型發(fā)展的最終形態(tài)。但是，它的出現(xiàn)著實(shí)是改變了AI發(fā)展的路徑，讓AI落地有了更清晰的方向。

今天，大模型迫切地需要變得越來越大，但是單純的變大并不能解決行業(yè)問題，大模型更應(yīng)該想清楚如何變得越來越有用。“有用”是一個(gè)復(fù)雜的概念，既需要模型能力夠強(qiáng)，也需要算力開銷夠小，讓企業(yè)用得起、用得好。

浪潮信息所強(qiáng)調(diào)的模算效率就旨在解決這兩大問題。事實(shí)上，從源2.0-M32的發(fā)布來看，模算效率的提升確實(shí)把MoE模型推向了一個(gè)更廣泛的發(fā)展階段，我們甚至能在此看到不同行業(yè)、不同企業(yè)都能用上、用好MoE模型的可能。

*本文圖片均來源于網(wǎng)絡(luò)

#智能相對(duì)論 Focusing on智能新產(chǎn)業(yè)新服務(wù)，這是智能的服務(wù)NO.264深度解讀

此內(nèi)容為【智能相對(duì)論】原創(chuàng)，

僅代表個(gè)人觀點(diǎn)，未經(jīng)授權(quán)，任何人不得以任何方式使用，包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。

部分圖片來自網(wǎng)絡(luò)，且未核實(shí)版權(quán)歸屬，不作為商業(yè)用途，如有侵犯，請(qǐng)作者與我們聯(lián)系。

•AI產(chǎn)業(yè)新媒體;

•澎湃新聞科技榜單月度top5;

•文章長(zhǎng)期“霸占”鈦媒體熱門文章排行榜TOP10;

•著有《人工智能 十萬個(gè)為什么》

•【重點(diǎn)關(guān)注領(lǐng)域】智能家電（含白電、黑電、智能手機(jī)、無人機(jī)等AIoT設(shè)備）、智能駕駛、AI+醫(yī)療、機(jī)器人、物聯(lián)網(wǎng)、AI+金融、AI+教育、AR/VR、云計(jì)算、開發(fā)者以及背后的芯片、算法等。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！