近日，北京智源人工智能研究院（簡稱：智源研究院）正式發(fā)布重磅驗證成果：六款A(yù)I芯片、三大模型、同構(gòu)+異構(gòu)千卡——眾智FlagOS以統(tǒng)一技術(shù)棧完成AI訓(xùn)練“全要素”驗證。

作為本次驗證的核心參與廠商之一，摩爾線程基于旗艦級AI訓(xùn)推一體全功能GPU智算卡MTT S5000，完整適配了FlagOS訓(xùn)練全要素軟件棧——包括FlagScale系統(tǒng)調(diào)度決策框架、Megatron-LM分布式訓(xùn)練框架、Transformer Engine加速庫、FlagGems與Triton算子庫，以及FlagCX通信庫。

在此次嚴(yán)苛的驗證中，MTT S5000面向Qwen3-0.6B語言模型完成了1T Tokens從頭訓(xùn)練驗證，實現(xiàn)連續(xù)6天以上、超過14000步的無中斷穩(wěn)定訓(xùn)練。訓(xùn)練所得模型 Loss 曲線與基線高度一致，平均相對誤差控制在0.82%以內(nèi)；在標(biāo)準(zhǔn)下游任務(wù)評測中，較行業(yè)標(biāo)桿基線提升1.65個百分點，充分驗證了全功能GPU算力在大模型端到端訓(xùn)練中的穩(wěn)定性與有效性。

長周期高負載驗證：

4機32卡無中斷，6+天穩(wěn)定訓(xùn)練

此次FlagOS全要素適配與驗證工作，旨在檢驗多元AI算力在統(tǒng)一軟件棧下的端到端訓(xùn)練能力。摩爾線程與智源團隊緊密協(xié)作，高效完成了底層適配與系統(tǒng)調(diào)優(yōu)，并于春節(jié)前正式啟動全流程訓(xùn)練驗證。

在實際訓(xùn)練中，摩爾線程采用4機32卡配置，面向 Qwen3-0.6B語言模型開展訓(xùn)練。在超過6天的連續(xù)訓(xùn)練周期內(nèi)，系統(tǒng)穩(wěn)定完成 1T Tokens 數(shù)據(jù)量的超過14000步迭代，期間未發(fā)生任何軟硬件中斷。這一結(jié)果回應(yīng)了業(yè)界對國產(chǎn)算力大規(guī)模訓(xùn)練穩(wěn)定性的核心關(guān)切，也進一步證明了基于MTT S5000構(gòu)建的訓(xùn)練集群在長時間、高負載場景下的可靠性，充分驗證國產(chǎn)算力已具備支撐企業(yè)級大模型預(yù)訓(xùn)練任務(wù)的能力。

精度穩(wěn)定對齊：

Loss曲線高度一致，評測效果優(yōu)于基線

大模型訓(xùn)練的核心訴求，不僅在于算力規(guī)模與性能，更在于訓(xùn)練過程中的穩(wěn)定性、收斂效果和最終模型質(zhì)量。其中，訓(xùn)練精度是基石，下游任務(wù)評測效果則是檢驗訓(xùn)練成效的關(guān)鍵指標(biāo)。

在FlagOS統(tǒng)一軟件棧的調(diào)度下，采用完全對齊的數(shù)據(jù)集和訓(xùn)練參數(shù)，基于MTT S5000集群的訓(xùn)練過程呈現(xiàn)出與國際主流產(chǎn)品基線高度一致的Loss收斂曲線，平均相對誤差控制在0.82%以內(nèi)。與此同時，在標(biāo)準(zhǔn)的下游任務(wù)評測中，基于MTT S5000訓(xùn)練的模型，取得了比行業(yè)標(biāo)桿基線高出1.65個百分點的結(jié)果表現(xiàn)。

與基線評測偏差的計算方法（后面的計算方式類似）：

Qwen3-0.6B評測結(jié)果（正數(shù)是優(yōu)于基線）

這一結(jié)果表明，開發(fā)者基于公開的模型結(jié)構(gòu)與數(shù)據(jù)集，即可在摩爾線程MTT S5000算力平臺上，獲得與國際主流平臺精度相當(dāng)，并在部分評測指標(biāo)上實現(xiàn)更優(yōu)表現(xiàn)的大模型訓(xùn)練效果。

此外，摩爾線程基于MTT S5000的訓(xùn)練能力已在更大規(guī)模場景中得到驗證。今年1月，依托摩爾線程MTT S5000千卡智算集群，FlagOS成功完成智源自研具身大腦模型RoboBrain 2.5的全流程訓(xùn)練與優(yōu)化驗證。結(jié)果顯示，其Loss曲線與國際主流產(chǎn)品基線高度一致，最終結(jié)果相對誤差小于0.62%；在64卡至1024卡規(guī)模區(qū)間內(nèi)，多組實驗均實現(xiàn)超過90%的線性擴展效率。該案例表明，摩爾線程基于MTT S5000的訓(xùn)練能力不僅可支撐長周期端到端驗證，也具備向更大規(guī)模、更復(fù)雜模型場景持續(xù)延展的能力。

RoboBrain2.5模型評測效果

端到端訓(xùn)練Loss曲線

軟硬創(chuàng)新協(xié)同：

打造高質(zhì)量大模型訓(xùn)練底座

此次驗證成績的取得，離不開摩爾線程在芯片架構(gòu)、通信能力、計算單元協(xié)同以及FP8訓(xùn)練支持等方面的持續(xù)打磨?；贛TT S5000，摩爾線程正不斷完善面向大模型訓(xùn)練的軟硬件能力，為訓(xùn)練穩(wěn)定性、精度表現(xiàn)和規(guī)模擴展提供堅實支撐。

▼架構(gòu)級精度優(yōu)化：深入打磨矩陣乘法（GEMM）算子

矩陣乘法（GEMM）是大模型訓(xùn)練中的核心算子之一，其數(shù)值精度直接影響Loss曲線的收斂表現(xiàn)與最終模型效果。圍繞這一關(guān)鍵環(huán)節(jié)，摩爾線程團隊在MTT S5000的架構(gòu)設(shè)計階段，便針對浮點運算的舍入模式、累加路徑等關(guān)鍵計算鏈路進行了精細化優(yōu)化。這種來自架構(gòu)層面的持續(xù)打磨，使得MTT S5000在長時間訓(xùn)練過程中保持更穩(wěn)定的數(shù)值表現(xiàn)，為模型訓(xùn)練精度對齊及下游評測效果提升提供了堅實的底層保障。

▼ACE異步通信引擎：讓計算與通信更高效并行

在大規(guī)模分布式并行訓(xùn)練中，卡間通信往往會與計算任務(wù)爭搶帶寬及核心資源，成為制約擴展效率的瓶頸。MTT S5000創(chuàng)新性地內(nèi)置了ACE（Asynchronous Communication Engine，異步通信引擎），作為獨立的硬件通信單元，能夠在不占用計算核心資源的情況下，高效完成跨卡間的all_reduce、all_gather等集合通信操作。得益于ACE，通信與計算得以更深度地并行協(xié)同——當(dāng)Tensor Core（張量計算核心）在進行繁重的矩陣運算時，ACE已在后臺并行完成梯度同步，為大規(guī)模訓(xùn)練帶來更高的資源利用效率。摩爾線程在千卡規(guī)模訓(xùn)練中能保持超過90%的線性擴展效率，正是這一設(shè)計優(yōu)勢的重要體現(xiàn)。

▼多計算單元協(xié)同：Tensor Core與Vector Core高效配合

為了更好適配大模型訓(xùn)練中多樣化的計算負載，MTT S5000在算力單元的設(shè)計上，對Tensor Core與Vector Core（向量計算單元）進行了針對性的配置與協(xié)同優(yōu)化。在實際調(diào)度中，密集的矩陣運算交給Tensor Core處理，而LayerNorm、Softmax、激活函數(shù)等偏向內(nèi)存或帶寬密集型算子則交由Vector Core高效執(zhí)行?；谶@一硬件特性，摩爾線程聯(lián)合智源團隊對FlagOS進行了深度的軟件棧調(diào)優(yōu)，最終在FlashAttention等關(guān)鍵算子上實現(xiàn)了超過90%的計算資源利用率，進一步釋放了平臺的訓(xùn)練潛力。

▼原生FP8支持：協(xié)同MT-Megatron穩(wěn)定高效釋放Grouped GEMM潛力

隨著模型參數(shù)規(guī)模邁入千億甚至萬億級別，低精度訓(xùn)練已成為提升訓(xùn)練效率的重要方向。MTT S5000在硬件層面原生支持FP8數(shù)據(jù)精度，為更高吞吐的大模型訓(xùn)練提供了基礎(chǔ)能力。通過底層算子庫的高效優(yōu)化，其FP8 Grouped GEMM性能在實際場景中取得了超過700TFLOPs的性能表現(xiàn)。同時，摩爾線程對MT-Megatron分布式訓(xùn)練框架進行了深度適配與優(yōu)化，進一步提升了FP8訓(xùn)練在主流大模型上的穩(wěn)定性與可收斂性，能夠為包括DeepSeek-V3在內(nèi)的大模型訓(xùn)練提供有效支撐。

從訓(xùn)練穩(wěn)定性、收斂精度到下游任務(wù)效果，摩爾線程基于 MTT S5000 交出的這份成績單表明，在統(tǒng)一技術(shù)棧下，國產(chǎn)全功能GPU不僅驗證了大模型端到端訓(xùn)練的可用性，也展現(xiàn)出在實際訓(xùn)練效果上持續(xù)提升的潛力。

北京智源人工智能研究院副院長兼總工程師林詠華表示：“長期以來，‘對齊CUDA’只是行業(yè)在缺乏替代方案下‘不得已為之’的對齊標(biāo)準(zhǔn)。但如果能獲得比CUDA更優(yōu)的實際訓(xùn)練效果，才是產(chǎn)業(yè)界共同的期待，才能讓系統(tǒng)架構(gòu)百花齊放、勇于創(chuàng)新。摩爾線程在訓(xùn)練實測中超過了國際主流產(chǎn)品的表現(xiàn)，證明了這種期待已經(jīng)有實現(xiàn)的可能性了?！?/p>

未來，摩爾線程將繼續(xù)深化與智源研究院及生態(tài)伙伴的合作，以自主創(chuàng)新的全功能GPU算力底座，推動多元算力從“普適”走向“普惠”，為中國大模型研發(fā)提供開放、高效、可規(guī)?；瘡?fù)制的“國產(chǎn)算力訓(xùn)練范式”。