編輯｜澤南

國(guó)產(chǎn)算力生態(tài)的難題，從此有了 AI 解。

最近，在比「AI 生成 GPU 內(nèi)核」的硬核基準(zhǔn) KernelBench 上，摩爾線程的模型拿下了第一。

在 MooreEval 執(zhí)行式驗(yàn)證協(xié)議的加持下，摩爾線程的 MusaCoder-27B-RL 取得了領(lǐng)先業(yè)界的表現(xiàn)，超越了 Claude Opus、GLM-5.1、Kimi K2.6 等一眾國(guó)內(nèi)外先進(jìn)大模型。

這次拿下成績(jī)的，是上周才正式發(fā)布并開源的 MusaCoder，這是一款面向 GPU 底層算子生成的專用大模型，能自動(dòng)把 PyTorch 代碼轉(zhuǎn)換為 CUDA 與 MUSA 內(nèi)核，為 AI 訓(xùn)練等任務(wù)提供加速，旨在降低開發(fā)者手寫底層 GPU 算子的門檻。

• 論文：《MusaCoder: Native GPU Kernel Generation with Full-Stack Training on Moore Threads GPU》
• 論文地址：http://arxiv.org/abs/2606.04847
• 模型權(quán)重：https://huggingface.co/MooreThreads/MusaCoder-27B

值得關(guān)注的是，MusaCoder 是業(yè)內(nèi)首個(gè)基于國(guó)產(chǎn) GPU 算力底座完成全鏈路訓(xùn)練與驗(yàn)證的開源代碼大模型，其完整后訓(xùn)練流程均在基于 MTT S5000 的夸娥智算集群上完成。從 AI 模型到 GPU 硬件，全部國(guó)產(chǎn)化。

這是國(guó)產(chǎn) AI 算力領(lǐng)域的一次突破。

生成 GPU 內(nèi)核的競(jìng)賽

比的是真實(shí)性能提升

用 AI 來生成 GPU 內(nèi)核（Kernel），是當(dāng)前大語言模型（LLM）最硬核的挑戰(zhàn)之一。

KernelBench 由斯坦福大學(xué)和普林斯頓大學(xué)于 2025 年推出，它被設(shè)計(jì)為一個(gè)「真實(shí)世界的工程環(huán)境」，專門用來衡量大模型編寫高效 GPU 內(nèi)核代碼的能力。

簡(jiǎn)單來說，其核心任務(wù)是：

給定一個(gè) PyTorch 模型架構(gòu)，讓大模型生成一個(gè)定制的、內(nèi)嵌 C/C++ 的 CUDA 內(nèi)核，以替換原有的 PyTorch 算子，目標(biāo)是實(shí)現(xiàn)程序加速。

與其他代碼生成任務(wù)不同的是，該基準(zhǔn)不僅關(guān)注內(nèi)核能否正確運(yùn)行，更看重其相對(duì)于基線能否帶來實(shí)際的性能提升

另一方面，讓 AI 自動(dòng)化編寫高效、底層的 GPU/CUDA 代碼又是當(dāng)前突破算力瓶頸的關(guān)鍵。讓 AI 掌握這項(xiàng)能力不僅能推動(dòng)生成代碼的研究，更會(huì)在實(shí)際應(yīng)用中為降低算力成本、提高能效提供直接可用的工具。

為了全面評(píng)估模型能力，KernelBench 包含了超過 250 個(gè) PyTorch 機(jī)器學(xué)習(xí)任務(wù)，并按復(fù)雜度和粒度分為 4 個(gè)遞進(jìn)難度級(jí)別，從 Level 1 的核心基礎(chǔ)算子如卷積、矩陣乘法、歸一化等，到 Level 4，Hugging Face 上的生產(chǎn)級(jí)模型優(yōu)化任務(wù)。

在這之上還有級(jí)化的評(píng)估流程，基于一個(gè)三階段的嚴(yán)格驗(yàn)證流水線，以確保結(jié)果的可靠性。另外，KernelBench 還要求其加速比超過用戶可設(shè)定的閾值：AI 生成的代碼光「正確」還不夠，必須真正有提供加速效果的價(jià)值。

因此，KernelBench 被視為一個(gè)非常嚴(yán)苛的基準(zhǔn)。剛剛推出時(shí)，DeepSeek R1 在所有任務(wù)上的通過率也只有 30%，注意這只是「能用」的比例，還不是 AI 生成的代碼能帶來性能提升的比例。MusaCoder 現(xiàn)在已經(jīng)做到了通過率 88.6%，超越的個(gè)個(gè)都是以寫代碼能力著稱的大模型。

在論文中，研究人員報(bào)告了 MusaCoder 在 Level 1 到 Level 3 能力的各項(xiàng)指標(biāo)：

可見大多數(shù)知名通用大模型在 GPU 內(nèi)核生成任務(wù)上的能力并不盡如人意，而 MusaCoder 不僅可以做到生成的代碼能用，部分代碼已可以做到「好用」：性能比基準(zhǔn)線高至少 1.1 倍。

那么，摩爾線程是如何用一款「小模型」做到的？

MusaCoder 的秘訣

讓 AI 自我改進(jìn)

在 KernelBench 上，MusaCoder 超越的模型參數(shù)量都在大幾千億到萬億級(jí)別，自己卻只有 270 億。能實(shí)現(xiàn)「以小博大」，其背后的方法創(chuàng)新是核心。

與通用的代碼生成任務(wù)不同，GPU 核心的生成對(duì)并行計(jì)算、線程組織、內(nèi)存訪問、索引映射和硬件執(zhí)行等特性要求很高，生成的代碼不僅要語法對(duì)，還要能通過編譯，不投機(jī)取巧，在真實(shí)執(zhí)行中獲得性能收益。

為此，KernelBench 構(gòu)建了一套專門針對(duì) GPU 原生內(nèi)核生成任務(wù)的「全棧訓(xùn)練」方案，其中最關(guān)鍵的一環(huán)是MooreEval 執(zhí)行式驗(yàn)證協(xié)議

MooreEval 的架構(gòu)：這是一個(gè)基于執(zhí)行的可擴(kuò)展評(píng)估環(huán)境，用于對(duì)生成的原生 GPU 內(nèi)核函數(shù)進(jìn)行編譯、驗(yàn)證、性能分析及獎(jiǎng)勵(lì)。

簡(jiǎn)單來說，MooreEval 是研究人員為 GPU 內(nèi)核生成任務(wù)設(shè)計(jì)的一套自動(dòng)化、分布式、結(jié)構(gòu)化的「考試評(píng)判系統(tǒng)」。它不像傳統(tǒng)方法只檢查代碼文本相似度或進(jìn)行簡(jiǎn)單的靜態(tài)分析，而是通過真實(shí)地編譯、運(yùn)行和評(píng)測(cè)模型生成的代碼，提供結(jié)構(gòu)化的反饋和獎(jiǎng)勵(lì)信號(hào)，用于指導(dǎo)大模型的訓(xùn)練和評(píng)估。

對(duì)于模型生成的每個(gè)候選內(nèi)核代碼，MooreEval 都會(huì)執(zhí)行一個(gè)分階段的驗(yàn)證管道，包括接口和編譯檢查、正確性驗(yàn)證、反作弊檢測(cè)、以及性能測(cè)試。只有當(dāng)上一階段通過后，候選的方法才會(huì)進(jìn)入下一階段。

經(jīng)過流程審核的代碼會(huì)根據(jù)一個(gè)層次化的獎(jiǎng)勵(lì)函數(shù)計(jì)算分?jǐn)?shù)，除了用于判斷最終實(shí)力的分?jǐn)?shù)，還會(huì)輸出豐富的結(jié)構(gòu)化信息，它們會(huì)自動(dòng)轉(zhuǎn)化為可供模型理解的自然語言診斷，用于模型的進(jìn)一步訓(xùn)練。

為了能在強(qiáng)化學(xué)習(xí)訓(xùn)練中高效處理大批量代碼編譯和執(zhí)行，MooreEval 被設(shè)計(jì)成一個(gè)分布式異步流水線系統(tǒng)，它將編譯與執(zhí)行進(jìn)行了解耦，CPU 密集型的編譯工作和 GPU 密集型的執(zhí)行工作被分配給不同類型的執(zhí)行器（Worker），彼此獨(dú)立伸縮，避免了 GPU 在等待編譯時(shí)的空閑。

在 GPU 內(nèi)核生成這件事上，MooreEval 就像是一個(gè)自動(dòng)打分的考官，它通過真實(shí)地編譯、運(yùn)行、反作弊檢測(cè)和性能測(cè)試，實(shí)現(xiàn)了高效率和大規(guī)模的驗(yàn)證，并為模型提供了精準(zhǔn)的學(xué)習(xí)信號(hào)，是驅(qū)動(dòng) MusaCoder 實(shí)現(xiàn)高性能的關(guān)鍵引擎。

讓 AI 能 Know How

全棧后訓(xùn)練體系

MooreEval 只是 MusaCoder 模型特性的一小部分。

MusaCoder 的訓(xùn)練流程，包含利用多種原始數(shù)據(jù)源構(gòu)建面向 Kernel 的語料庫、數(shù)據(jù)增強(qiáng)、SFT 與 RFT、兩階段強(qiáng)化學(xué)習(xí)流程的優(yōu)化，以及 PrimeEcho、MirrorPop 和 Buffered Dynamic Retry 三種穩(wěn)定技術(shù)。

為了讓 AI 模型能夠真正學(xué)會(huì)寫 GPU 內(nèi)核，MusaCoder 構(gòu)建了一套面向 GPU 原生算子生成的全棧后訓(xùn)練體系。

在數(shù)據(jù)構(gòu)建階段，MusaCoder 通過一個(gè)三階段漸進(jìn)式的數(shù)據(jù)合成管道，系統(tǒng)地培養(yǎng)了模型理解 GPU 編程所需的「思維模式」：

• 第一階段是通過 GitHub 真實(shí)代碼、NNSmith 自動(dòng)生成圖等多種來源，構(gòu)建一個(gè)龐大的 PyTorch-CUDA/MUSA 任務(wù)集，并注入 GPU 編程基礎(chǔ)知識(shí)；
• 第二階段是結(jié)構(gòu)化推理和顯式的 Shape 信息注入，其增強(qiáng)了模型對(duì)張量形狀、內(nèi)存布局和索引關(guān)系的理解，讓模型不僅知道要做什么，還要理解「怎么做」；
• 第三階段是多輪的交互與環(huán)境反饋解析，通過接收編譯錯(cuò)誤、運(yùn)行時(shí)報(bào)錯(cuò)、性能瓶頸等反饋，讓模型據(jù)此進(jìn)行針對(duì)性的修復(fù)和優(yōu)化，為后續(xù)的強(qiáng)化學(xué)習(xí)模擬多輪修復(fù)場(chǎng)景，緩解獎(jiǎng)勵(lì)稀疏的問題。

SFT 數(shù)據(jù)構(gòu)建流水線的三階段演進(jìn)。

為提升強(qiáng)化學(xué)習(xí)的穩(wěn)定性，MusaCoder 又引入了 PrimeEcho、Buffered Dynamic Retry，以及 MirrorPop 三個(gè)機(jī)制。

為了防止模型獎(jiǎng)勵(lì)作弊，為了「及格」而過度依賴多輪反饋，研究團(tuán)隊(duì)設(shè)計(jì)了基于首輪交互錨定的多輪獎(jiǎng)勵(lì)機(jī)制 PrimeEcho。這是一個(gè)全新的軌跡級(jí)獎(jiǎng)勵(lì)公式，將首輪生成質(zhì)量和整個(gè)過程中的最好表現(xiàn)按權(quán)重結(jié)合，確保了模型優(yōu)化的主要目標(biāo)始終是提升首輪生成質(zhì)量，多輪修復(fù)只是輔助。

緩沖動(dòng)態(tài)重試（Buffered Dynamic Retry，BDR）用于從完全失敗的困難樣本中恢復(fù)信號(hào)，目標(biāo)是解決 GPU 內(nèi)核生成這種高難度任務(wù)中正樣本稀少的挑戰(zhàn)。一旦某輪任務(wù)徹底失敗，BDR 會(huì)將任務(wù)描述、失敗的代碼和報(bào)錯(cuò)信息打包成一個(gè)新任務(wù)，放入一個(gè)「動(dòng)態(tài)緩存池」。模型會(huì)以較低概率從中學(xué)習(xí)如何修復(fù)自己的錯(cuò)誤，從而挽救原本無學(xué)習(xí)價(jià)值的失敗樣本。

MirrorPop則用于解決強(qiáng)化學(xué)習(xí)過程中模型訓(xùn)練不穩(wěn)定的問題。它通過一個(gè)更精準(zhǔn)的過濾器，能夠精準(zhǔn)剔除高風(fēng)險(xiǎn)樣本。

根據(jù)實(shí)驗(yàn)數(shù)據(jù)，這三項(xiàng)機(jī)制在提升模型最終性能上都獲得了明顯的性能提升效果。

國(guó)產(chǎn) AI 算力技術(shù)棧

全流程跑通

當(dāng)然，MusaCoder 的意義也不止于模型本身。

AI 模型的構(gòu)建，是一個(gè)硬件與軟件棧的復(fù)雜磨合過程，對(duì)編譯棧的兼容性、運(yùn)行時(shí)穩(wěn)定性、調(diào)度系統(tǒng)的低延遲、評(píng)測(cè)基礎(chǔ)設(shè)施的魯棒性都提出了嚴(yán)苛的要求。

從監(jiān)督微調(diào)到強(qiáng)化學(xué)習(xí)，MusaCoder 的整個(gè)訓(xùn)練流程全部運(yùn)行在摩爾線程自己的「夸娥」智算集群上。能完整跑通這一套全流程，證明了國(guó)產(chǎn) GPU 集群已經(jīng)具備支撐此類復(fù)雜、動(dòng)態(tài)、交互式訓(xùn)練任務(wù)的能力。

這在一定程度上打破了我們對(duì)于國(guó)產(chǎn) AI 算力「只能跑推理」的刻板印象。能夠穩(wěn)定承載代碼大模型的后訓(xùn)練全周期算力需求，意味著在 AI 基礎(chǔ)設(shè)施的關(guān)鍵環(huán)節(jié)上，國(guó)產(chǎn)硬件已經(jīng)從可用走到了好用的階段。MusaCoder 的成功實(shí)踐或許會(huì)成為可復(fù)用的工程范式，為未來更多復(fù)雜的 AI 研發(fā)提供參考價(jià)值和遷移路徑。

在大模型時(shí)代，「自主可控」不僅關(guān)乎芯片制造，更包括上層的軟件棧、訓(xùn)練平臺(tái)、評(píng)測(cè)體系和開源模型生態(tài)。MusaCoder 證明了在這些層面，國(guó)產(chǎn)力量已經(jīng)能夠形成閉環(huán)。

而對(duì)于廣大開發(fā)者來說，一個(gè)能直接從 PyTorch 自動(dòng)生成高性能 MUSA 內(nèi)核的基礎(chǔ)模型，更是開啟了 AI 驅(qū)動(dòng)開發(fā)的新路。

或許過不了多久，應(yīng)用國(guó)產(chǎn)算力的底層加速能力，會(huì)變得像用 AI 寫代碼一樣簡(jiǎn)單。