在交互式虛擬世界和具身智能快速發(fā)展的今天，高質(zhì)量 3D 資產(chǎn)已經(jīng)不再只是 “看起來像” 就足夠。一個(gè)柜門不僅要有柜門的外觀，還需要知道繞哪條軸旋轉(zhuǎn)；一個(gè)按鈕不僅要有按鈕的形狀，還需要具備 “按下 / 彈起” 的狀態(tài)；一個(gè)抽屜不僅要有完整幾何，還需要擁有滑動(dòng)方向、運(yùn)動(dòng)范圍、材質(zhì)和質(zhì)量等物理屬性。該研究已被 ICML 2026 接收。

然而，現(xiàn)有 3D 生成方法大多仍停留在靜態(tài)幾何和紋理層面。它們可以生成視覺上精致的模型，卻往往缺少支撐真實(shí)交互的功能邏輯與層級化物理結(jié)構(gòu)。這類 “靜態(tài)外殼” 難以直接進(jìn)入機(jī)器人仿真或游戲引擎環(huán)境。

為了解決這一難題，香港大學(xué)和騰訊混元等機(jī)構(gòu)的研究者們提出了PhysForge，一個(gè)面向交互式虛擬世界的physics-grounded 3D asset generation框架。該框架僅需單張輸入圖像，就能生成具備部件結(jié)構(gòu)、物理屬性、功能語義和精確運(yùn)動(dòng)學(xué)參數(shù)的 3D 資產(chǎn)。

• 論文題目：PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World
• 項(xiàng)目主頁：https://hku-mmlab.github.io/PhysForge/
• 論文鏈接：https://arxiv.org/abs/2605.05163

一、效果展示

如圖所示，PhysForge 只需要單張輸入圖像，就可以生成 physics-grounded 3D assets。生成結(jié)果不僅包含高質(zhì)量幾何和紋理，還具備部件結(jié)構(gòu)，并為每個(gè)部件給出詳細(xì)的物理屬性標(biāo)簽。

對于可動(dòng)部件，PhysForge 還會預(yù)測關(guān)節(jié)軸、關(guān)節(jié)原點(diǎn)和運(yùn)動(dòng)范圍等運(yùn)動(dòng)學(xué)參數(shù)，并給出可交互方式。這使得一個(gè)生成出的水壺、柜門、按鈕或臺燈，不再只是可觀看的模型，而是可以被打開、按壓、抓取或放入交互式虛擬世界中的資產(chǎn)。

視頻鏈接：https://mp.weixin.qq.com/s/en_3cDxnKZRTDdwnSeVQTQ

在機(jī)器人仿真展示中，PhysForge 生成的資產(chǎn)被導(dǎo)入 RoboTwin 環(huán)境后，機(jī)械臂能夠識別并操作其功能部件，例如按照關(guān)節(jié)約束打開柜門、拉出抽屜或抓取指定部件。

視頻鏈接：https://mp.weixin.qq.com/s/en_3cDxnKZRTDdwnSeVQTQ

二、為什么需要 Physics-Grounded 3D Assets？

過去一段時(shí)間，3D 生成模型在整體形狀、紋理和視覺質(zhì)量上進(jìn)步很快：模型是否好看、幾何是否完整、表面是否逼真，已經(jīng)成為常規(guī)評價(jià)維度。但在具身智能和交互式虛擬環(huán)境中，視覺逼真只是第一步。

一個(gè)真正可交互的 3D 資產(chǎn)，還需要回答一組更深層的問題：

• 物體由哪些功能部件組成？
• 每個(gè)部件具有什么語義、材質(zhì)和質(zhì)量？
• 哪些部件可以被推動(dòng)、抓取、旋轉(zhuǎn)或滑動(dòng)？
• 部件之間存在怎樣的層級和父子關(guān)系？
• 可動(dòng)部件的關(guān)節(jié)類型、軸向、原點(diǎn)和運(yùn)動(dòng)范圍分別是什么？

這些信息共同決定了資產(chǎn)能否被仿真器、游戲引擎和具身智能系統(tǒng)真正使用。沒有物理屬性和運(yùn)動(dòng)學(xué)定義的模型，即便視覺上再精致，也很難成為 “可操作” 的環(huán)境對象。

PhysForge 的核心觀點(diǎn)正是：交互式資產(chǎn)生成必須根植于功能邏輯和層級化物理結(jié)構(gòu)。形狀不應(yīng)只是外觀的結(jié)果，也應(yīng)該是功能、材料、約束和可操作性的共同體現(xiàn)。

三、方法介紹：兩階段 “規(guī)劃 - 生成” 策略

PhysForge 將復(fù)雜的 physics-grounded 3D asset generation 解耦為兩個(gè)階段：先由 VLM 進(jìn)行物理規(guī)劃，再由 diffusion model 完成幾何、紋理與運(yùn)動(dòng)學(xué)參數(shù)的聯(lián)合生成。

第一階段是 VLM-based Planning。研究者們將 VLM 訓(xùn)練成一個(gè) “physical architect”：它接收單張圖像、可選 2D mask，以及由 TRELLIS 生成的 3D voxel 表示，并自回歸生成 Hierarchical Physical Blueprint。

這個(gè)物理藍(lán)圖定義了每個(gè)部件的 3D bounding box、父子層級關(guān)系、關(guān)節(jié)類型，以及材質(zhì)、質(zhì)量、部件功能、狀態(tài)機(jī)和 atomic affordance 等信息。換句話說，模型會先在語義和物理層面判斷 “這個(gè)物體應(yīng)該如何被拆解、如何被使用、又應(yīng)該如何運(yùn)動(dòng)”。

第二階段是 Diffusion-based Generation。VLM 擅長進(jìn)行結(jié)構(gòu)和語義規(guī)劃，但關(guān)節(jié)軸方向、關(guān)節(jié)原點(diǎn)、運(yùn)動(dòng)范圍等連續(xù) 3D 參數(shù)，仍然需要更精細(xì)的生成機(jī)制。因此，PhysForge 將這些精確數(shù)值交給 diffusion stage 來 “鍛造”。

為此，研究者們提出了KineVoxel Injection (KVI) 機(jī)制。KVI 將每個(gè)可動(dòng)部件的關(guān)節(jié)原點(diǎn)、關(guān)節(jié)軸和運(yùn)動(dòng)限制編碼為 kinematic voxel，并與幾何 voxel 一起進(jìn)入統(tǒng)一的 diffusion denoising 過程。這樣，模型可以在同一個(gè)生成過程中協(xié)同學(xué)習(xí) “部件長什么樣” 和 “部件應(yīng)該怎么動(dòng)”。

最終，PhysForge 能夠同時(shí)輸出高質(zhì)量幾何、紋理、部件結(jié)構(gòu)和精確運(yùn)動(dòng)學(xué)參數(shù)，讓單圖生成的 3D 資產(chǎn)具備直接進(jìn)入交互環(huán)境的能力。

四、PhysDB：15 萬資產(chǎn)的物理標(biāo)注基座

為了支撐這一任務(wù)，研究者們構(gòu)建了 PhysDB，一個(gè)包含 15 萬 3D 資產(chǎn)的大規(guī)模數(shù)據(jù)集。PhysDB 來源于 Objaverse，覆蓋 household、industrial、weapons、personal、vehicles、tech & electronics、cultural items 等七大類別，并為資產(chǎn)提供細(xì)粒度、層級化的物理標(biāo)注。

PhysDB 的標(biāo)注體系分為四層：

• Holistic properties：描述物體整體尺度、類別和使用場景，例如 kitchen、bedroom 等。
• Static properties：描述部件級語義、材質(zhì)和質(zhì)量，例如 metal、wood 等。
• Functional properties：描述部件的內(nèi)在功能和狀態(tài)機(jī)，例如 “to contain” 或按鈕的 pressed/released 狀態(tài)。
• Interactive properties：描述可交互屬性和運(yùn)動(dòng)學(xué)定義，包括 pushable、graspable、joint type、parent part、axis origin、axis direction 和 joint limits。

這套標(biāo)注讓模型學(xué)習(xí)的不只是 “部件在哪里”，更是 “部件是什么、能做什么、應(yīng)該如何被操作”。它為 PhysForge 從靜態(tài)視覺生成走向 physics-grounded 3D asset generation 提供了關(guān)鍵數(shù)據(jù)基礎(chǔ)。

五、豐富的下游應(yīng)用

PhysForge 生成的資產(chǎn)不是停留在展示層面的靜態(tài)模型，而是可以直接服務(wù)于多個(gè)下游場景。

第一，機(jī)器人仿真。對于機(jī)器人訓(xùn)練和評測，PhysForge 生成的資產(chǎn)可以作為可操作的環(huán)境對象擴(kuò)充仿真場景，減少手工建模、關(guān)節(jié)綁定和物理參數(shù)配置成本，讓機(jī)器人更容易在多樣化物體上學(xué)習(xí)真實(shí)交互。

第二，虛擬世界與游戲引擎。在 Unity、Unreal Engine 等交互式環(huán)境中，PhysForge 生成的資產(chǎn)已經(jīng)具備材質(zhì)、質(zhì)量、功能和關(guān)節(jié)信息，開發(fā)者可以更直接地構(gòu)建復(fù)雜交互邏輯，而不必從零手工配置每一個(gè)可動(dòng)物體。

第三，具身智能 agent 與環(huán)境交互。由于第一階段會生成文本化的 physical blueprint，agent 可以通過自然語言查詢資產(chǎn)的結(jié)構(gòu)和功能信息，從而形成更明確的任務(wù)計(jì)劃。例如面對一個(gè)柜子，agent 可以知道柜門在哪里、把手屬于哪個(gè)部件、關(guān)節(jié)如何旋轉(zhuǎn)，以及應(yīng)該如何完成打開操作。

六、總結(jié)

PhysForge 將 3D 生成的目標(biāo)從 “生成靜態(tài)外觀” 推進(jìn)到 “生成可交互資產(chǎn)”。通過 VLM-based Planning 與 Diffusion-based Generation 的兩階段設(shè)計(jì)，該框架先規(guī)劃層級化物理藍(lán)圖，再通過 KineVoxel Injection 生成高質(zhì)量幾何、紋理和精確運(yùn)動(dòng)學(xué)參數(shù)。

同時(shí)，PhysDB 為這一方向提供了大規(guī)模、細(xì)粒度、層級化的物理標(biāo)注基礎(chǔ)。面向交互式虛擬世界、機(jī)器人仿真和具身智能數(shù)據(jù)引擎，physics-grounded 3D asset generation 將成為重要基礎(chǔ)能力。PhysForge 則邁出了關(guān)鍵一步：讓生成的 3D 資產(chǎn)不止 “看起來真實(shí)”，也能真正 “被理解、被操作、被交互”。