機(jī)器之心編輯部

今天一早，谷歌又發(fā)新模型了！

Gemmna 家族有了新成員 ——DiffusionGemma，一個(gè)探索文本擴(kuò)散的實(shí)驗(yàn)性開源模型，在文本生成任務(wù)上速度極快

根據(jù)官方介紹，DiffusionGemma 采用了 Apache 2.0 許可證發(fā)布，是一個(gè) 26B 規(guī)模的混合專家模型（MoE）。

該模型沒有沿用典型自回歸大語(yǔ)言模型（LLM）那種按順序、逐 token 生成的方式，而是可以同時(shí)生成整塊文本，在 GPU 上，文本生成速度最高可提升至 4 倍。

DiffusionGemma 建立在 Gemma 4 家族業(yè)界領(lǐng)先的「每參數(shù)智能水平」之上，同時(shí)吸收了 Gemini Diffusion 的前沿研究成果。它引入了一種全新的擴(kuò)散式輸出頭，目標(biāo)很明確：盡可能提高生成速度。

需要說(shuō)明的是，自回歸版本的 Gemma 4 仍然是高質(zhì)量生產(chǎn)級(jí)輸出的首選。而DiffusionGemma 更適合研究人員和開發(fā)者探索那些對(duì)速度要求極高、強(qiáng)調(diào)本地交互體驗(yàn)的工作流，比如行內(nèi)編輯、快速迭代，以及生成非線性的文本結(jié)構(gòu)。

谷歌 CEO 皮查伊表示，「DiffusionGemma 是一款開放的實(shí)驗(yàn)性模型，它把我們的文本擴(kuò)散研究帶到了 Gemma 4 上。速度像賽馬一樣快 ：通過(guò)一次性生成整塊文本，而不是逐 token 預(yù)測(cè)輸出，推理速度最高可以提升至 4 倍?！?/p>

為開發(fā)者創(chuàng)造新的價(jià)值

對(duì)實(shí)時(shí)交互式 AI 應(yīng)用開發(fā)者來(lái)說(shuō)，本地推理最大的痛點(diǎn)之一就是延遲。DiffusionGemma 正是針對(duì)這個(gè)問(wèn)題而來(lái)，但也做出了一些取舍。

首先是推理速度非?？?/strong>

DiffusionGemma 將解碼瓶頸從內(nèi)存帶寬轉(zhuǎn)向計(jì)算本身，因此在專用 GPU 上，token 輸出速度最高可提升至 4 倍。在單張 NVIDIA H100 上，它可以達(dá)到每秒 1000+ tokens；在 NVIDIA GeForce RTX 5090 上，也能達(dá)到每秒 700+ tokens。

其次是硬件門檻相對(duì)友好

DiffusionGemma 是一個(gè)總規(guī)模為 26B 的 MoE 模型，但推理時(shí)只激活 3.8B 參數(shù)。經(jīng)過(guò)量化后，它可以比較輕松地運(yùn)行在 18GB 顯存以內(nèi)的高端消費(fèi)級(jí)獨(dú)立顯卡上。

第三，它支持雙向注意力

每次前向計(jì)算可以并行生成 256 個(gè) token，并且每個(gè) token 都能看到其他 token。這讓它在一些非線性場(chǎng)景中更有優(yōu)勢(shì)，比如行內(nèi)編輯、代碼補(bǔ)全、氨基酸序列生成，或者數(shù)學(xué)圖結(jié)構(gòu)。

第四，它具備一定的自我修正能力

模型會(huì)通過(guò)多輪迭代不斷 refine 自己的輸出，并且可以一次性查看整個(gè)文本塊，從而實(shí)時(shí)發(fā)現(xiàn)并修正錯(cuò)誤。

不過(guò)，DiffusionGemma 目前仍然是一個(gè)實(shí)驗(yàn)性模型。因?yàn)樗匾曀俣群筒⑿胁季稚?，整體輸出質(zhì)量低于標(biāo)準(zhǔn)版 Gemma 4。如果應(yīng)用場(chǎng)景對(duì)質(zhì)量要求最高，官方仍然建議部署標(biāo)準(zhǔn)版 Gemma 4。

開發(fā)者也可以通過(guò)微調(diào)，讓 DiffusionGemma 在特定任務(wù)上表現(xiàn)更好。

下面這個(gè)例子中，Unsloth 對(duì) DiffusionGemma 進(jìn)行了微調(diào)，讓它學(xué)會(huì)解數(shù)獨(dú)。數(shù)獨(dú)對(duì)自回歸模型并不友好，因?yàn)槊總€(gè) token 往往都依賴后面的 token；而 DiffusionGemma 的雙向注意力機(jī)制，讓這類任務(wù)變得更容易。

經(jīng)過(guò)微調(diào)后，DiffusionGemma 正在解數(shù)獨(dú)。

為什么要用擴(kuò)散模型生成文本？

過(guò)去幾年，AI 研究社區(qū)一直在探索基于擴(kuò)散的文本生成方法，但要把它應(yīng)用到大模型上并不容易。

DiffusionGemma 的突破點(diǎn)在于，它改變了模型使用硬件的方式。

傳統(tǒng)語(yǔ)言模型更像一臺(tái)打字機(jī)：從左到右，一個(gè) token 接一個(gè) token 地生成。在云端，這種方式很高效，服務(wù)器可以同時(shí)批處理成千上萬(wàn)個(gè)用戶請(qǐng)求，讓硬件資源被充分利用。

但在本地運(yùn)行、只有單個(gè)用戶請(qǐng)求時(shí)，這種逐詞生成的方式反而會(huì)讓你的獨(dú)立 GPU 或 TPU 處于低利用率狀態(tài)。它大部分時(shí)間都在等下一個(gè)「按鍵」。

DiffusionGemma 則把這個(gè)問(wèn)題反了過(guò)來(lái)。它不是按順序一個(gè)詞一個(gè)詞地預(yù)測(cè)，而是一次性起草整個(gè) 256-token 文本塊。這樣一來(lái)，處理器每次都能拿到更大塊的計(jì)算任務(wù)，硬件利用率也更高。

換句話說(shuō)，它把模型推理從一臺(tái)順序敲字的打字機(jī)，升級(jí)成了一臺(tái)可以同時(shí)印出整塊文本的高速印刷機(jī)。

Hugging Face 制作的 DiffusionGemma text-to-3D SVG 演示，展示了逐步生成過(guò)程。

視頻鏈接：https://mp.weixin.qq.com/s/Qf8788wjPUzs7s__hBBRkw

這也意味著，DiffusionGemma 的速度優(yōu)勢(shì)主要面向本地推理和低并發(fā)推理場(chǎng)景。在高 QPS 的云端服務(wù)中，自回歸模型本身就可以通過(guò)批處理充分吃滿算力，因此 DiffusionGemma 的并行解碼優(yōu)勢(shì)會(huì)被削弱，甚至可能帶來(lái)更高的服務(wù)成本。

它的吞吐優(yōu)勢(shì)，主要體現(xiàn)在單個(gè)加速器上的低到中等 batch size 場(chǎng)景。

博客地址：https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/