從原始視頻出發(fā)，無(wú)需人工介入，自動(dòng)生成 3D 重建、深度、2D mask、3D 框、實(shí)例描述、3D grounding 和空間問(wèn)答。Holi-Spatial 試圖把「空間智能」的數(shù)據(jù)生產(chǎn)，推進(jìn)到自動(dòng)化、可擴(kuò)展的新階段。

Holi-Spatial 3D grounding 展示。從視頻流中恢復(fù)場(chǎng)景幾何并定位開(kāi)放詞表目標(biāo)。

Holi-Spatial 整體亮點(diǎn)。自動(dòng)化管線從原始視頻流生成高質(zhì)量 3D 空間標(biāo)注，并進(jìn)一步提升 VLM 空間能力。

近年來(lái)，大模型已經(jīng)在圖像理解、OCR、多圖推理、視頻問(wèn)答等任務(wù)上快速迭代。但當(dāng)問(wèn)題進(jìn)入真實(shí)三維世界，模型仍然常常「看得見(jiàn)，卻想不清楚」：物體在左前還是右后？相機(jī)移動(dòng)了多遠(yuǎn)？?jī)蓚€(gè)物體的空間關(guān)系是什么？同一個(gè)物體換一個(gè)視角后還能否穩(wěn)定定位？

這些能力背后有一個(gè)繞不開(kāi)的問(wèn)題：空間智能需要大規(guī)模、細(xì)粒度、帶幾何約束的 3D 數(shù)據(jù)。

現(xiàn)有做法通常依賴 ScanNet、ScanNet++ 等少量人工標(biāo)注 3D 數(shù)據(jù)集，再在其上生成 QA。這樣做能推動(dòng)研究，但也帶來(lái)兩個(gè)限制：一是數(shù)據(jù)規(guī)模受限，二是人工采集和標(biāo)注形成的領(lǐng)域分布較窄，模型很難真正面向開(kāi)放真實(shí)場(chǎng)景泛化。

針對(duì)這一瓶頸，來(lái)自上海人工智能實(shí)驗(yàn)室、西北工業(yè)大學(xué)、上海交通大學(xué)等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence，并獲ICML 2026 Oral。

論文提出一個(gè)全自動(dòng)空間數(shù)據(jù)構(gòu)建框架 Holi-Spatial，能夠從原始視頻流出發(fā)，自動(dòng)完成高質(zhì)量 3D 幾何重建、開(kāi)放詞表語(yǔ)義感知、3D 實(shí)例提升與場(chǎng)景級(jí)精修，并進(jìn)一步構(gòu)建出 Holi-Spatial-4M：一個(gè)包含 400 萬(wàn)級(jí)空間標(biāo)注的大規(guī)模 3D 語(yǔ)義數(shù)據(jù)集。

• 論文地址：https://arxiv.org/abs/2603.07660
• 項(xiàng)目主頁(yè)：https://visionary-laboratory.github.io/holi-spatial/
• 代碼倉(cāng)庫(kù)：https://github.com/Visionary-Laboratory/Holi-Spatial

概述

Holi-Spatial 把原始視頻自動(dòng)轉(zhuǎn)化為可訓(xùn)練空間智能模型的多層級(jí)監(jiān)督數(shù)據(jù)，覆蓋從幾何重建到語(yǔ)義標(biāo)注、從 3D grounding 到空間問(wèn)答的完整鏈路。

更關(guān)鍵的是，它不是只做一個(gè)單點(diǎn)任務(wù)，而是形成了一個(gè)自動(dòng)化數(shù)據(jù)飛輪，團(tuán)隊(duì)基于如今各種基座模型的能力增強(qiáng)嘗試使用全自動(dòng)流程：視頻進(jìn)入，3D 場(chǎng)景和空間語(yǔ)義標(biāo)注出來(lái)；數(shù)據(jù)規(guī)模繼續(xù)擴(kuò)大，模型的 3D 空間理解能力也隨之提升。

為什么空間智能缺數(shù)據(jù)？

空間智能不是簡(jiǎn)單的「圖片里有什么」。

它要求模型理解真實(shí)世界中的三維結(jié)構(gòu)和關(guān)系，例如：

• 相機(jī)從視角 A 到視角 B 主要向哪個(gè)方向移動(dòng)？
• 某個(gè)椅子在當(dāng)前觀察者的左前方還是右后方？
• 桌子和沙發(fā)之間的距離是多少？
• 目標(biāo)物體在不同視角下是否能被穩(wěn)定定位？
• 一個(gè)開(kāi)放詞表描述對(duì)應(yīng)的物體，能否在 3D 空間中準(zhǔn)確框出來(lái)？

這些問(wèn)題既需要語(yǔ)義理解，也需要幾何一致性。僅靠單張圖片或普通視頻字幕，很難讓模型學(xué)到可靠的 3D 空間概念。

過(guò)去，研究者往往基于人工采集的 3D 數(shù)據(jù)集構(gòu)造空間 QA。問(wèn)題是，這類數(shù)據(jù)集成本高、類別有限、規(guī)模難擴(kuò)展。例如一些經(jīng)典室內(nèi) 3D 數(shù)據(jù)集的語(yǔ)義類別是封閉的，無(wú)法覆蓋真實(shí)世界中長(zhǎng)尾、細(xì)粒度的物體描述。

Holi-Spatial 的出發(fā)點(diǎn)是：如果我們能把網(wǎng)絡(luò)和公開(kāi)數(shù)據(jù)中的原始視頻，自動(dòng)轉(zhuǎn)化為高質(zhì)量 3D 空間監(jiān)督，空間智能的數(shù)據(jù)瓶頸就有機(jī)會(huì)被系統(tǒng)性緩解。

Holi-Spatial 怎么做？

Holi-Spatial 的核心是一個(gè)三階段自動(dòng)化數(shù)據(jù)構(gòu)建管線。

Holi-Spatial 數(shù)據(jù)構(gòu)建框架。整體流程包括幾何優(yōu)化、圖像級(jí)感知、場(chǎng)景級(jí)精修，并最終生成 Holi-Spatial-4M 用于下游訓(xùn)練。

第一階段：幾何優(yōu)化，把視頻變成高質(zhì)量 3D 結(jié)構(gòu)

系統(tǒng)首先從原始視頻中恢復(fù)相機(jī)內(nèi)外參，并利用空間基礎(chǔ)模型得到初始稠密點(diǎn)云和深度先驗(yàn)。

但直接使用前饋深度模型會(huì)遇到一個(gè)典型問(wèn)題：多視角投影時(shí)容易出現(xiàn)噪聲、漂浮點(diǎn)和幾何不一致。為此，Holi-Spatial 引入 3D Gaussian Splatting 進(jìn)行逐場(chǎng)景優(yōu)化，并加入幾何正則，使深度在多視角下更加一致。

這一步的目標(biāo)不是單純追求視覺(jué)上好看的重建，而是為后續(xù) 3D 框生成、實(shí)例聚合和空間 QA 構(gòu)造提供可靠幾何基礎(chǔ)。

第二階段：圖像級(jí)開(kāi)放詞表感知，把 2D 語(yǔ)義提升到 3D 候選

在每個(gè)視頻場(chǎng)景中，系統(tǒng)采樣關(guān)鍵幀，并使用 VLM 生成開(kāi)放詞表類別。為了讓不同幀中的類別更穩(wěn)定，Holi-Spatial 維護(hù)一個(gè)動(dòng)態(tài)類別記憶，讓模型優(yōu)先復(fù)用歷史幀中已經(jīng)識(shí)別過(guò)的語(yǔ)義標(biāo)簽。

隨后，系統(tǒng)使用 SAM3 生成開(kāi)放詞表實(shí)例分割 mask，再結(jié)合優(yōu)化后的 3DGS 深度，將 2D mask 反投影到三維空間，形成初始 3D 物體候選。

論文中特別處理了一個(gè)常見(jiàn)難點(diǎn)：2D mask 邊界誤差和深度邊緣噪聲會(huì)導(dǎo)致 3D 框不準(zhǔn)。Holi-Spatial 通過(guò) mask 腐蝕和 mesh-guided depth filtering 過(guò)濾不可靠邊緣點(diǎn)，從而減少 3D 漂浮點(diǎn)對(duì)物體框的干擾。

第三階段：場(chǎng)景級(jí)精修，合并、驗(yàn)證、描述實(shí)例

初始 3D 候選通常會(huì)有重復(fù)、碎片化和低置信度的問(wèn)題。Holi-Spatial 進(jìn)一步在場(chǎng)景級(jí)進(jìn)行粗到細(xì)精修：

1. 多視角合并：根據(jù)類別和 3D IoU 合并跨視角重復(fù)實(shí)例。

2. 地面 / 重力對(duì)齊：讓 3D 框更加符合真實(shí)場(chǎng)景中的垂直方向。

3. 置信度過(guò)濾：高置信度實(shí)例保留，低置信度實(shí)例刪除。

4.VLM Agent 復(fù)核：對(duì)邊界置信度實(shí)例，用帶有 zoom-in 和重分割工具的 VLM Agent 再次驗(yàn)證。

5. 實(shí)例描述和 QA 生成：對(duì)最終實(shí)例生成細(xì)粒度 caption，并構(gòu)造 3D grounding 與空間 QA 樣本。

這套流程最終輸出的不只是一個(gè)重建模型，而是一組可直接用于訓(xùn)練空間智能模型的多模態(tài)監(jiān)督。

Holi-Spatial-4M：400 萬(wàn)級(jí)空間標(biāo)注

基于上述自動(dòng)化管線，作者構(gòu)建了 Holi-Spatial-4M。

數(shù)據(jù)來(lái)自 ScanNet、ScanNet++ 和 DL3DV-10K 等多源視頻場(chǎng)景。與傳統(tǒng)封閉類別 3D 數(shù)據(jù)不同，Holi-Spatial-4M 依托 VLM 的開(kāi)放世界知識(shí)，能夠覆蓋更長(zhǎng)尾、更細(xì)粒度的室內(nèi)物體類別。

Holi-Spatial-4M 數(shù)據(jù)統(tǒng)計(jì)，包括開(kāi)放詞表物體分布、不同來(lái)源場(chǎng)景占比，以及空間 QA 任務(wù)類型分布。

實(shí)驗(yàn)結(jié)果：數(shù)據(jù)質(zhì)量和訓(xùn)練增益都顯著

Holi-Spatial 首先在數(shù)據(jù)構(gòu)建質(zhì)量上進(jìn)行了驗(yàn)證。作者在 ScanNet、ScanNet++ 和 DL3DV-10K 中隨機(jī)采樣場(chǎng)景，并額外進(jìn)行人工標(biāo)注作為評(píng)估 GT，比較深度、2D 分割和 3D 檢測(cè)質(zhì)量。

多視角深度可視化對(duì)比。相比 LangSplat、M3-Spatial、Depth-Anything-V3 等方法，Holi-Spatial 生成的點(diǎn)云更干凈，漂浮點(diǎn)和重影更少。

表 1：Holi-Spatial 在 ScanNet、ScanNet++ 和 DL3DV-10K 上的數(shù)據(jù)構(gòu)建質(zhì)量評(píng)估。表格對(duì)應(yīng)論文 Table 2，對(duì)比深度 F1、2D 分割 IoU 和 3D 檢測(cè) AP25/AP50。

從表 1 可以看到，Holi-Spatial 在三個(gè)數(shù)據(jù)源上同時(shí)提升幾何、2D 語(yǔ)義和 3D 檢測(cè)質(zhì)量：在 ScanNet++ 上，Depth F1 達(dá)到 0.89，2D Seg IoU 達(dá)到 0.64，3D Det AP25/AP50 達(dá)到 81.06/70.05；在 ScanNet 上對(duì)應(yīng)指標(biāo)為 0.98、0.66、76.60/67.00；在 DL3DV-10K 上也達(dá)到 0.78、0.71、62.89/52.67。相比 M3-Spatial、LangSplat、SA2VA、LLaVA-3D 等基線，Holi-Spatial 不只在單一任務(wù)上領(lǐng)先，而是在深度、分割和 3D 框三個(gè)環(huán)節(jié)都保持更穩(wěn)定的整體質(zhì)量。

開(kāi)放詞表 2D 實(shí)例分割可視化。Holi-Spatial 在邊界完整性、遮擋場(chǎng)景和細(xì)粒度類別識(shí)別上表現(xiàn)更穩(wěn)定。

ScanNet++ 上的 3D 目標(biāo)檢測(cè)可視化。相比 SceneScript、LLaVA-3D、SpatialLM，Holi-Spatial 預(yù)測(cè)的 3D 框更緊湊，類別更準(zhǔn)確。

更重要的是，這些數(shù)據(jù)確實(shí)能提升 VLM 的空間能力。

作者使用 Holi-Spatial-4M 對(duì) Qwen3-VL 系列模型進(jìn)行微調(diào)。在空間 QA 任務(wù)上：

表 2：Holi-Spatial-4M 微調(diào)后，Qwen3-VL 系列模型在 MMSI-Bench, MindCube,ViewSpatial 和 SparBench-tiny 上的空間 QA 結(jié)果。

在 ScanNet++ 3D grounding 任務(wù)上：

表 3：Holi-Spatial-4M 微調(diào)后，Qwen3-VL-8B 在 ScanNet++ 3D grounding 任務(wù)上的結(jié)果。

這里的 AP15、AP25 和 AP50 分別對(duì)應(yīng)不同 IoU 閾值下的 3D grounding 平均精度，閾值越高，對(duì)預(yù)測(cè) 3D 框的位置、尺寸和空間對(duì)齊要求越嚴(yán)格?？梢钥吹剑?Qwen3-VL-8B 在 AP50 上為 13.50，經(jīng)過(guò) Holi-Spatial-4M 微調(diào)后提升到 27.98，增加 14.48 AP 點(diǎn)；在 AP15 和 AP25 上也分別從 19.82、16.80 提升到 35.52、31.94。

這說(shuō)明 Holi-Spatial-4M 帶來(lái)的提升并不只來(lái)自語(yǔ)言問(wèn)答能力，而是讓模型更好地把文本指令、圖像觀察和 3D 空間位置對(duì)齊起來(lái)。論文中將這種提升歸因于 1.2M 3D grounding 樣本提供的強(qiáng)監(jiān)督：相比主要依賴單視角或錨定視角訓(xùn)練的基線模型，經(jīng)過(guò) Holi-Spatial 數(shù)據(jù)訓(xùn)練后的模型在跨視角、不同空間深度和遮擋場(chǎng)景下更容易定位到正確物體。

Holi-Spatial 構(gòu)建的 10 類空間 QA 樣例，覆蓋相機(jī)運(yùn)動(dòng)、相機(jī) - 物體關(guān)系、物體 - 物體關(guān)系和尺寸測(cè)量等任務(wù)。

這些 QA 并不是簡(jiǎn)單的物體識(shí)別題，而是圍繞空間關(guān)系設(shè)計(jì)了 10 類問(wèn)題：相機(jī)旋轉(zhuǎn)、相機(jī)移動(dòng)方向、相機(jī)移動(dòng)距離、相機(jī) - 物體方向、相機(jī) - 物體距離、全局坐標(biāo)系下的相機(jī) - 物體距離、物體 - 物體距離、物體尺寸測(cè)量、局部觀察者坐標(biāo)系下的物體 - 物體方向，以及全局坐標(biāo)系下的物體 - 物體方向。這樣的設(shè)計(jì)讓模型同時(shí)學(xué)習(xí)自我運(yùn)動(dòng)、視角變化、物體間相對(duì)位置和尺度估計(jì)。

論文還提到，訓(xùn)練這些 QA 數(shù)據(jù)對(duì) MindCube 和 MMSI-Bench 中的視角切換、第一人稱空間想象等問(wèn)題尤其有幫助。同時(shí)，Holi-Spatial 會(huì)先用 VLM 描述物體外觀，再把外觀描述作為問(wèn)題中的指代表達(dá)，這相當(dāng)于把「看清物體」和「在 3D 空間中定位物體」綁定起來(lái)，進(jìn)一步增強(qiáng)模型在空間問(wèn)答中的視覺(jué) grounding 能力。

3D grounding 可視化。經(jīng)過(guò) Holi-Spatial 數(shù)據(jù)微調(diào)后，模型能在多視角和不同空間深度下更準(zhǔn)確定位查詢物體。

一個(gè)值得關(guān)注的點(diǎn)：自動(dòng)化數(shù)據(jù)飛輪

Holi-Spatial 最值得關(guān)注的地方，不只是做出了一個(gè)大數(shù)據(jù)集，而是把 “空間數(shù)據(jù)生產(chǎn)” 這件事變成了一個(gè)自動(dòng)化流程。

這點(diǎn)對(duì)于空間智能很關(guān)鍵。

如果模型要進(jìn)入機(jī)器人、AR、具身智能、場(chǎng)景編輯和真實(shí)世界導(dǎo)航等應(yīng)用，靠有限人工掃描數(shù)據(jù)很難覆蓋足夠多的環(huán)境、物體和空間關(guān)系。原始視頻則更容易獲得，數(shù)量也遠(yuǎn)大于傳統(tǒng) 3D 標(biāo)注數(shù)據(jù)。

Holi-Spatial 證明了一個(gè)方向：通過(guò)組合當(dāng)前強(qiáng)大的幾何模型、VLM、分割模型和 3D 優(yōu)化方法，原始視頻可以被自動(dòng)轉(zhuǎn)化成結(jié)構(gòu)化、可訓(xùn)練、可評(píng)估的空間智能數(shù)據(jù)。

這也意味著，未來(lái)空間智能模型的提升可能不只來(lái)自更大的模型參數(shù)，還來(lái)自更強(qiáng)的數(shù)據(jù)構(gòu)建系統(tǒng)。

也有哪些限制？

論文也討論了當(dāng)前系統(tǒng)的局限。

首先，Holi-Spatial 依賴多個(gè)上游模型和逐場(chǎng)景優(yōu)化，計(jì)算成本仍然較高。其次，在視角有限、運(yùn)動(dòng)模糊、嚴(yán)重遮擋、動(dòng)態(tài)物體較多的視頻中，幾何恢復(fù)和實(shí)例標(biāo)注仍可能退化。開(kāi)放詞表語(yǔ)義標(biāo)注也可能繼承基礎(chǔ)模型的偏差或錯(cuò)誤，因此更穩(wěn)健的驗(yàn)證機(jī)制和不確定性估計(jì)仍是未來(lái)方向。

不過(guò)，作為一個(gè)自動(dòng)化空間數(shù)據(jù)構(gòu)建框架，Holi-Spatial 已經(jīng)展示出明確潛力：當(dāng)原始視頻數(shù)據(jù)繼續(xù)增長(zhǎng)，空間智能模型也可以獲得更大規(guī)模、更細(xì)粒度、更接近真實(shí)世界的訓(xùn)練信號(hào)。

作者與機(jī)構(gòu)

論文作者包括 Yuanyuan Gao、Hao Li、Yifei Liu、Xinhao Ji、Yuning Gong、Yuanjun Liao、Fangfu Liu、Manyuan Zhang、Yuchen Yang、Dan Xu、Xue Yang、Huaxi Huang、Hongjie Zhang、Ziwei Liu、Xiao Sun、Dingwen Zhang、Zhihang Zhong。

機(jī)構(gòu)覆蓋上海人工智能實(shí)驗(yàn)室、西北工業(yè)大學(xué)、上海交通大學(xué)、北京大學(xué)、南洋理工大學(xué)、北京航空航天大學(xué)、四川大學(xué)、清華大學(xué)、香港中文大學(xué)、復(fù)旦大學(xué)、香港科技大學(xué)等。

Paper: https://arxiv.org/abs/2603.07660

Project: https://visionary-laboratory.github.io/holi-spatial/

Code: https://github.com/Visionary-Laboratory/Holi-Spatial