近年來，視頻生成模型發(fā)展迅猛。從 Sora、Veo、Kling 到一系列開源視頻生成模型，文生視頻已經(jīng)逼近真實(shí)影像的觀感 —— 畫面清晰、鏡頭流暢、風(fēng)格可控，一句話就能生成一段觀感不錯(cuò)的視頻。

然而，當(dāng)我們把目光從 “像不像” 轉(zhuǎn)向 “對(duì)不對(duì)” 時(shí)，一個(gè)深刻的問題開始浮出水面：當(dāng)前視頻生成模型雖然擅長(zhǎng)制造視覺真實(shí)感，卻并不真正理解物理世界。

一個(gè)球可能在沒有接觸的情況下突然改變速度；一個(gè)下落物體可能無視重力；碰撞、流體、切削、堆積、彈跳等動(dòng)態(tài)過程，經(jīng)?？雌饋砗侠?，卻經(jīng)不起基本物理常識(shí)的檢驗(yàn)。在 VideoPhy-2 這類面向物理常識(shí)的視頻評(píng)測(cè)中，即便是表現(xiàn)最好的模型，聯(lián)合準(zhǔn)確率也只有 32.6%。這說明，視頻生成距離真正的 “世界模擬器”，仍然存在一條關(guān)鍵鴻溝。

于是，浙江大學(xué)、香港理工大學(xué)、樹根科技與三一集團(tuán)聯(lián)合提出的 NEWTON（Neural Agentic World-Aware Tool-Orchestrated Navigation）—— 把 Agent 范式搬進(jìn)視頻生成里：與其繼續(xù)把物理硬塞進(jìn)生成器的權(quán)重里，不如讓一個(gè)會(huì)規(guī)劃、會(huì)調(diào)用物理工具、會(huì)自查自糾的 Agent，把生成器 “降級(jí)” 成它工具箱里的一件兵器。

• 論文標(biāo)題：NEWTON: Agentic Planning for Physically Grounded Video Generation
• 論文地址：https://arxiv.org/abs/2605.18396
• 項(xiàng)目主頁：https://newton026.github.io/newton/

視頻生成為什么總是 “物理不穩(wěn)”？

過去我們習(xí)慣認(rèn)為，只要模型足夠大、數(shù)據(jù)足夠多，它終將學(xué)會(huì)真實(shí)世界的物理規(guī)律。但 NEWTON 指出，問題的根源并不在模型本身 —— 而是輸入本身就不足以唯一確定一段物理自洽的視頻，再大的模型也補(bǔ)不回輸入端缺失的信息。

文本提示詞本質(zhì)上是對(duì)物理世界的高度壓縮。比如一句 “啤酒被倒進(jìn)杯子直到裝滿”，看似已經(jīng)描述清楚了事件，但實(shí)際上省略了大量決定動(dòng)態(tài)過程的參數(shù)：容器形狀、泡沫生成、液面上升速度等。模型拿到的只是一句自然語言，卻被期待生成一個(gè)完整、連續(xù)、符合物理規(guī)律的視頻。換句話說，模型是在信息嚴(yán)重不足的前提下，被要求交出一個(gè)物理自洽的完整答案。

關(guān)鍵信息一旦缺失，模型就只能在不完整條件下做幻覺式補(bǔ)全：?jiǎn)螏苍S漂亮，時(shí)間維度上卻處處露餡 —— 液面不升高、刀劃過木頭卻沒有凹槽、顆粒倒下卻不堆積、物體碰撞卻毫無反應(yīng)。

所以，物理可靠的視頻生成不能押在一句 prompt 上。它至少要同時(shí)滿足三件事：信息要夠，能補(bǔ)齊影響動(dòng)態(tài)的物理變量；過程要活，能針對(duì)不同場(chǎng)景調(diào)用不同的物理工具；結(jié)果要能查，生成之后能發(fā)現(xiàn)問題、回頭修正。

而現(xiàn)有方法往往只能顧上其中一兩條。端到端模型把物理知識(shí)隱式壓進(jìn)參數(shù)，輸入端的條件本身就不完整；ControlNet 一類方法依賴預(yù)設(shè)的單一模態(tài)信號(hào)，難以隨場(chǎng)景切換，缺乏動(dòng)態(tài)性；單輪生成則沒有反饋回路，結(jié)果不對(duì)也無從修起。

NEWTON 的破局思路：把生成變成一個(gè)可規(guī)劃、可驗(yàn)證的過程

NEWTON 的核心變化，是重新定義視頻生成系統(tǒng)的工作方式

傳統(tǒng)范式很短：用戶輸入 prompt，生成器直接輸出視頻。這意味著所有物理細(xì)節(jié)都得由生成器自己一次性猜出來。NEWTON 把這一步改造成了一個(gè)多輪 Agent 循環(huán) ——Planner 先分析當(dāng)前任務(wù)缺哪些物理信息、該調(diào)哪些工具，Executor 執(zhí)行工具調(diào)用和視頻生成，Verifier 給結(jié)果打一個(gè)物理合理性分?jǐn)?shù)，再把反饋寫回下一輪規(guī)劃。視頻生成器在這個(gè)循環(huán)里不再是唯一主角，只是工具箱里的一個(gè)動(dòng)作；真正負(fù)責(zé)組織過程的，是可訓(xùn)練的 Planner。

工具庫覆蓋的是互補(bǔ)的物理維度：

• 關(guān)鍵幀生成工具給視頻補(bǔ)充時(shí)間邊界條件，比如規(guī)定拋物線運(yùn)動(dòng)在中間幀到達(dá)最高點(diǎn)，或要求倒酒時(shí)杯內(nèi)液面隨時(shí)間逐步升高；
• 科學(xué)計(jì)算工具在沙盒 Python 環(huán)境里算軌跡、動(dòng)量守恒、旋轉(zhuǎn)動(dòng)力學(xué)等數(shù)值結(jié)果，把人類熟悉的物理推理顯式寫進(jìn)生成上下文；
• 提示詞優(yōu)化工具則負(fù)責(zé)把材料屬性、動(dòng)作階段、因果關(guān)系重新組織成生成器更容易 "聽懂" 的條件

更關(guān)鍵的是，NEWTON不需要改動(dòng)底層的視頻生成模型。無論用的是 LTX-Video 還是 Veo-3.1，生成器始終保持凍結(jié)。整套系統(tǒng)里真正需要訓(xùn)練的只有 Planner—— 它通過 Flow-GRPO 在真實(shí)的多輪工具調(diào)用流程中做 on-policy 優(yōu)化，逐步學(xué)會(huì)：什么時(shí)候該算物理、什么時(shí)候該生成關(guān)鍵幀、什么時(shí)候該重寫場(chǎng)景描述、什么時(shí)候該真正觸發(fā)視頻生成。

這樣的設(shè)計(jì)，使得 "物理能力" 不再被困在某一個(gè)生成模型內(nèi)部，而是被抽出來，變成一種可組合、可檢查、可遷移的 Agent 行為。

實(shí)驗(yàn)表現(xiàn)：不改生成器，也能顯著提升物理一致性

在 VideoPhy-2 基準(zhǔn)上，NEWTON 展現(xiàn)出了穩(wěn)定提升。接入 LTX-Video 后，聯(lián)合準(zhǔn)確率從 21.4% 提升到 29.7%；接入 Veo-3.1 后，在選取的測(cè)試集中從 30.7% 提升到 37.4%。這些提升并非來自重訓(xùn)視頻生成器，而是來自 Planner 對(duì)物理工具、關(guān)鍵幀條件和反饋循環(huán)的組織能力。這意味著，即使底層生成器保持不變，只要把 “生成前的物理規(guī)格補(bǔ)齊” 和 “生成后的驗(yàn)證修正” 納入系統(tǒng)流程，視頻生成的物理可靠性就能被顯著改善。

在具體案例中：倒啤酒時(shí)，NEWTON 讓杯子隨注入逐漸被填滿，基線卻出現(xiàn) "杯子早就滿了"" 怎么倒都倒不進(jìn)去 ""泡沫在長(zhǎng)液面不動(dòng)" 這類荒誕畫面；刀刻木頭時(shí)，只有 NEWTON 同時(shí)刻出凹槽和木屑；吹泡泡和 LEGO 橄欖球交接的鏡頭也呈現(xiàn)同樣的規(guī)律 —— 基線模型常常是 "動(dòng)作發(fā)生了，但世界狀態(tài)沒變"，而 NEWTON 能把液面上升、材料移除、顆粒堆積、受力反彈這些有因果的動(dòng)態(tài)完整地呈現(xiàn)出來。

總結(jié)

NEWTON 的意義不只在于提升了某個(gè)評(píng)測(cè)指標(biāo)，更在于它提出了一種視頻生成的新范式：未來的視頻模型也許不應(yīng)只是一個(gè)端到端的視覺合成器，而應(yīng)成為 Agent 系統(tǒng)中的一個(gè)可調(diào)用模塊。

當(dāng)任務(wù)涉及真實(shí)世界的動(dòng)態(tài)規(guī)律時(shí)，系統(tǒng)需要的不只是更強(qiáng)的渲染能力，還需要知道缺了什么信息、該調(diào)用什么工具、如何驗(yàn)證結(jié)果，以及失敗后如何重新規(guī)劃。

從這個(gè)角度看，NEWTON 給 “世界模擬器” 提供了一條更務(wù)實(shí)的路徑：不是等待物理規(guī)律從黑箱中自然涌現(xiàn)，而是把牛頓請(qǐng)進(jìn)工具箱，讓 Agent 帶著物理知識(shí)，一步步把視頻生成得更真實(shí)、更可信。