導語：推理模型的「沉默稅」該怎么解？

用過推理型大模型的人，大概率都熟悉這種體驗：模型似乎在認真思考，但屏幕上長時間沒有真正有用的內(nèi)容；如果讓它一開始就輸出，又很容易出現(xiàn)倉促判斷，后面的推理還要被早期錯誤牽著走。

這正是論文 When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning 試圖解決的問題。作者把這種矛盾稱為單流自回歸接口下的 “silence tax”（沉默稅）：在傳統(tǒng)單一可見流里，每個生成 token 既更新模型狀態(tài)，又構成不可撤回的公開承諾。模型多想一會兒，用戶就多等一會兒；模型早說一點，又可能過早承諾。

為此，來自紐約州立大學石溪分校、浙江大學、威廉瑪麗學院、伊利諾伊大學香檳分校、英屬哥倫比亞大學、香港中文大學、以及復旦大學的研究人員提出 Side-by-Side（SxS）Interleaved Reasoning（并列式交錯推理），把 “何時披露內(nèi)容” 變成一個可學習的決策。模型可以在同一個自回歸上下文里交替執(zhí)行兩類動作：繼續(xù)思考，或披露已經(jīng)被當前推理支持的答案片段。這樣一來，流式生成不再只是前端展示策略，而變成了模型自身學到的 “披露策略”。

• 論文標題：When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning
  
• 論文地址：https://arxiv.org/pdf/2605.03314
• 作者：Jiaqi Wei, Xuehang Guo, Pengfei Yu, Xiang Zhang, Wanli Ouyang, Siqi Sun, Qingyun Wang, Chenyu You
• 機構：Stony Brook University、浙江大學、William & Mary、UIUC、UBC、香港中文大學、復旦大學
• 會議：ICML 2026

一句話概括這篇論文

SxS Interleaved Reasoning 讓大模型在推理過程中學會 “邊想邊說”：只有當答案片段已經(jīng)被當前推理前綴支持時，才把它作為用戶可見內(nèi)容披露出來；其余推理繼續(xù)保留在同一上下文中，幫助模型完成后續(xù)推理。

這不是簡單地讓模型更快輸出第一個 token，也不是鼓勵它用 “我正在思考” 之類的空話填充等待時間。論文關注的是內(nèi)容延遲，也就是用戶什么時候能看到真正和任務相關、且有依據(jù)的內(nèi)容。

為什么 “快點輸出” 不是答案

當前大模型的流式交互通常默認一個設計：模型生成什么，用戶就立即看到什么。這種設計簡單、穩(wěn)定，也方便部署，但它把兩個原本不同的問題綁在了一起。

• 第一，生成 token 是模型狀態(tài)更新的一部分，后續(xù)推理會基于已生成前綴繼續(xù)展開。
• 第二，生成 token 也是面向用戶的公開承諾，一旦展示出來，就會限制后續(xù)回答不能隨意推翻。
• 
  

在簡單問答里，這個耦合問題不明顯；但在數(shù)學、科學問答、代碼推理等任務里，模型往往需要較長的中間推理。若先完整思考再回答，用戶會經(jīng)歷長時間沉默；若一開始就把中間想法或候選答案顯示出來，錯誤前綴又可能造成 “過早承諾”。

論文的關鍵判斷是：真正值得優(yōu)化的不是 Time to First Token, TTFT（首 token 延遲）這種系統(tǒng)層面的指標，而是 “第一個有用內(nèi)容何時出現(xiàn)，以及兩次有用更新之間間隔多久”。這也是 SxS 后續(xù)評測里使用 ARI、ABO、AIRW 等內(nèi)容延遲指標的原因。

核心方法：把輸出分成

“思考” 和 “披露” 兩種動作

SxS 的設計很直接：模型仍然是標準自回歸生成，不需要第二個模型、第二套隱藏狀態(tài)或?qū)ｉT的推理架構；不同之處在于，它在生成流里通過輕量標簽區(qū)分兩類 token。

• think（思考動作）：用于繼續(xù)內(nèi)部推理，不直接作為用戶可見答案披露。
• speak（披露動作）：用于披露用戶可見內(nèi)容，這些內(nèi)容必須被當前推理前綴支持。

可以把它理解成一種 “可控可見性” 的單流生成。所有內(nèi)容仍在同一上下文里，因此模型不會丟失前面推理；但用戶看到的，只是模型選擇披露的答案流。

這帶來的變化很重要：模型不必在 “沉默到最后” 和 “馬上冒險回答” 之間二選一。它可以先披露一個已經(jīng)被當前推理支持的答案前綴或部分答案，再繼續(xù)推理剩余部分，隨后逐步補全最終回答。

訓練流程：先學會格式，

再用 RL 找回推理能力

論文的訓練分成兩個階段，核心目標是避免一個常見副作用：如果只獎勵早輸出，模型可能學會說廢話；如果只學交錯格式，模型準確率又可能下滑。

• 第一步，構造蘊含對齊的交錯軌跡 （entailment-aligned interleaved trajectories）。作者從標準的 prompt、reasoning、response 三元組出發(fā)，把推理和答案都切分成片段，再判斷某個答案前綴是否已經(jīng)被當前推理前綴支持。只有被支持的答案片段才會被放進 speak。
• 第二步，用 SFT 學會雙動作語義。SFT 讓模型先掌握 think /speak 的基本格式，知道什么時候繼續(xù)推理，什么時候披露內(nèi)容。
• 第三步，用 GRPO 做 RL 恢復推理性能。因為交錯格式會改變生成分布，SFT 后準確率可能下降；RL 階段用結果正確性信號把模型拉回高質(zhì)量推理，同時保留披露節(jié)奏。

這套流程的一個實用點是：它沒有把 “早輸出” 寫成硬規(guī)則，而是把 “有依據(jù)地早披露” 作為監(jiān)督和優(yōu)化目標。換句話說，早不是目的，早且可支持才是目的。

實驗結果：更短的可見等待，

更好的準確率 — 延遲權衡

論文在兩類 Qwen3 模型上驗證方法：MoE 架構 Qwen3-30B-A3B，以及 dense 架構 Qwen3-4B。主實驗覆蓋數(shù)學推理 AIME25 和跨域科學問答 GPQA-Diamond。除最終準確率外，作者還報告了Average Inter-Response Wait, AIRW（平均響應間等待），即兩次 speak（披露） 更新之間平均隔了多少 think（思考） token。

注：表中 AIRW 為 token-level 內(nèi)容延遲代理指標，越低表示兩次用戶可見更新之間的平均間隔越短。

最值得注意的是 Qwen3-4B：在 AIME25 上，Qwen3-4B 的 SxS RL Final 達到 80.0%，高于 Standard CoT RL Final 的 73.8%；AIRW 也從 21,316 降到 8,519。在 GPQA-Diamond 上，SxS RL Final 達到 49.3%，高于 Standard CoT RL Final 的 19.0%；AIRW 從 16,338 降到 7,738。

這說明 SxS 的收益不是單純 “把答案提前挪到前面”，而是改變了推理過程中的披露節(jié)奏：用戶能更早、更頻繁地看到有任務意義的內(nèi)容，同時最終答案質(zhì)量并沒有被犧牲。

代碼與規(guī)則知識推理也有類似趨勢

論文還在 LiveCodeBench 和 KOR-Bench 上做了額外分析?？傮w趨勢和主實驗一致：SxS 不一定在所有設置里追求最高原始準確率，但通常能給出更好的后訓練行為，尤其是在小模型上。

這篇論文的真正價值

這篇工作的有趣之處，不只是提出了一個新格式，而是把 “流式回答” 從工程顯示問題推進到了模型學習問題。過去我們通常把交互體驗交給前端、系統(tǒng)吞吐或固定模板；SxS 則指出，模型本身可以學習何時披露，且披露必須受到當前推理的支持。

• 對產(chǎn)品體驗來說，它提供了一種比 “首 token 更快” 更貼近用戶感知的優(yōu)化方向：讓第一個有用內(nèi)容更早出現(xiàn)，并減少有效更新之間的長空窗。
• 對推理訓練來說，它提供了一個新的訓練對象：不僅訓練模型想得對，也訓練模型在合適時機說得對。
• 對模型部署來說，它的吸引力在于不用改架構，主要依賴數(shù)據(jù)構造、SFT 和 RL，就可以在標準自回歸模型里學習披露策略。

需要注意的邊界

這項工作也不是在聲稱解決了所有流式推理問題。首先，論文里的延遲指標是 token-level proxy（token 級代理指標），并不等同于真實系統(tǒng)的 wall-clock latency（真實時鐘延遲）；真實產(chǎn)品還會受到推理框架、批處理、網(wǎng)絡、前端刷新等因素影響。

其次，SFT-only 的交錯模型會出現(xiàn)明顯準確率下降，說明 “學會交錯格式” 不等于 “保持強推理”。論文用 RL Recovery / RL Final 修復這一點，也意味著這個方法的關鍵成本在后續(xù)強化學習階段。

最后，SxS 的披露粒度雖然可以通過獎勵塑形進一步控制，但更高粒度會帶來訓練效率成本。也就是說，披露越頻繁不一定越好，真正目標仍然是準確率和內(nèi)容延遲之間的 Pareto trade-off（帕累托權衡）。

結語：讓模型學會 “負責地開口”

隨著推理型大模型越來越多進入真實交互場景，用戶關心的不只是最終答案對不對，還包括等待過程中能不能看到可靠進展。SxS Interleaved Reasoning 給出的答案是：不要簡單地讓模型更早吐字，而是讓模型學習 “何時可以披露已經(jīng)被支持的內(nèi)容”。

從這個角度看，這篇論文把大模型推理交互中的一個常見體驗問題，轉(zhuǎn)化成了可監(jiān)督、可強化學習優(yōu)化的披露策略問題。它讓 “邊想邊說” 不再只是產(chǎn)品話術，而成為可以訓練、可以評測、可以和準確率一起優(yōu)化的模型行為。