7月3日，摩爾線程宣布其AI旗艦產(chǎn)品夸娥（KUAE）智算集群解決方案實(shí)現(xiàn)重大升級，從當(dāng)前的千卡級別大幅擴(kuò)展至萬卡規(guī)模。摩爾線程夸娥（KUAE）萬卡智算集群目標(biāo)是打造能夠承載萬卡規(guī)模、具備萬P級浮點(diǎn)運(yùn)算能力的國產(chǎn)通用加速計(jì)算平臺。此外，當(dāng)天摩爾線程聯(lián)合中國移動青海公司、中國聯(lián)通青海公司、北京德道信科集團(tuán)、中國能源建設(shè)股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司分別就三個(gè)萬卡集群項(xiàng)目進(jìn)行了戰(zhàn)略簽約，多方聚力共同構(gòu)建好用的國產(chǎn)GPU集群。

會議期間，《中國電子報(bào)》記者就AI大模型發(fā)展趨勢以及破解我國算力瓶頸等問題對摩爾線程創(chuàng)始人兼CEO張建中進(jìn)行了專訪。

大模型演進(jìn)呼喚高性能算力

關(guān)于業(yè)界熱議的大模型未來走向，張建中認(rèn)為，有三方面演進(jìn)趨勢值得關(guān)注。

一是Scaling Law（標(biāo)度律）將持續(xù)奏效。Scaling Law自2020年提出以來，已揭示了大模型發(fā)展背后的“暴力美學(xué)”，即通過算力、算法、數(shù)據(jù)的深度融合與經(jīng)驗(yàn)積累，實(shí)現(xiàn)模型性能的飛躍，這也成為業(yè)界公認(rèn)的將持續(xù)影響未來大模型的發(fā)展趨勢。Scaling Law將持續(xù)奏效，需要單點(diǎn)規(guī)模夠大并且通用的算力才能快速跟上技術(shù)演進(jìn)。

二是Transformer架構(gòu)不能實(shí)現(xiàn)大一統(tǒng)，會和其他架構(gòu)持續(xù)演進(jìn)并共存，形成多元化的技術(shù)生態(tài)。生成式人工智能的進(jìn)化并非僅依賴于規(guī)模的簡單膨脹，技術(shù)架構(gòu)的革新同樣至關(guān)重要。Transformer架構(gòu)雖然是當(dāng)前主流，但新興架構(gòu)如Mamba、RWKV和RetNet等不斷刷新計(jì)算效率，加快創(chuàng)新速度。隨著技術(shù)迭代與演進(jìn)，Transformer架構(gòu)并不能實(shí)現(xiàn)大一統(tǒng)，從稠密到稀疏模型，再到多模態(tài)模型的融合，技術(shù)的進(jìn)步都展現(xiàn)了對更高性能計(jì)算資源的渴望。

三是AI、3D和HPC跨技術(shù)與跨領(lǐng)域融合不斷加速，推動著空間智能、物理AI和AI4Science、世界模型等領(lǐng)域的邊界拓展，使得大模型的訓(xùn)練和應(yīng)用環(huán)境更加復(fù)雜多元，市場對于能夠支持AI+3D、AI+物理仿真、AI+科學(xué)計(jì)算等多元計(jì)算融合發(fā)展的通用加速計(jì)算平臺的需求日益迫切。

萬卡已是模型訓(xùn)練主戰(zhàn)場的標(biāo)配

“多元趨勢下，AI模型訓(xùn)練的主戰(zhàn)場，萬卡已是標(biāo)配。”張建中強(qiáng)調(diào)，隨著計(jì)算量不斷攀升，大模型訓(xùn)練亟需超級工廠，即一個(gè)“大且通用”的加速計(jì)算平臺，以縮短訓(xùn)練時(shí)間，實(shí)現(xiàn)模型能力的快速迭代。當(dāng)前，國際科技大廠都在通過積極部署千卡乃至超萬卡規(guī)模的計(jì)算集群，以確保大模型產(chǎn)品的競爭力。隨著模型參數(shù)量從千億邁向萬億，模型能力更加泛化，大模型對底層算力的訴求進(jìn)一步升級，萬卡甚至超萬卡集群成為這一輪大模型競賽的入場券。

然而，構(gòu)建萬卡集群并非一萬張GPU卡的簡單堆疊，而是一項(xiàng)高度復(fù)雜的超級系統(tǒng)工程。它涉及超大規(guī)模的組網(wǎng)互聯(lián)、高效率的集群計(jì)算、長期穩(wěn)定性和高可用性等諸多技術(shù)難題。這是難而正確的事情，摩爾線程希望能夠建設(shè)一個(gè)規(guī)模超萬卡、場景夠通用的加速計(jì)算平臺，并優(yōu)先解決大模型訓(xùn)練的難題。

中國如何突破算力瓶頸？

“當(dāng)前，我們正處在生成式人工智能的黃金時(shí)代，技術(shù)交織催動智能涌現(xiàn)，GPU成為加速新技術(shù)浪潮來臨的創(chuàng)新引擎?！睆埥ㄖ斜硎?，“中國的人工智能落地場景相比國外來說更加廣泛，因?yàn)橹袊谌斯ぶ悄軕?yīng)用領(lǐng)域里面開發(fā)者數(shù)量很多，落地速度也更快?！?/span>

他認(rèn)為，目前國內(nèi)大模型行業(yè)發(fā)展面臨的主要問題，不是中國公司的研發(fā)人員技術(shù)水平比國外差，歸根結(jié)底還是缺少充足的算力。而這個(gè)問題不是光靠堆積GPU的數(shù)量就能解決的。“集中力量辦大事，打造好用的萬卡級別的算力集群，才能讓用戶真正地使用好大模型?！睆埥ㄖ姓f道。

張建中強(qiáng)調(diào)，在技術(shù)層面，中國企業(yè)完全有信心有能力去追趕全球頂級GPU企業(yè)，做出更先進(jìn)、性價(jià)比更高的芯片。但光有技術(shù)還不夠，更重要的是生態(tài)環(huán)境的完善，這需要政府及產(chǎn)業(yè)上下游全行業(yè)共同努力。