出品 | 網(wǎng)易智能

作者 | 辰辰

“世界模型”是當前AI領域最重要、最熱、也是最被濫用的概念。“世界模型”也被認為是通往AGI的最大可能的終極路線。

當前世界模型（World Model）主流技術路線尚未收斂，大概分為4條主流路線。一是生成式視頻路線，以?OpenAI、視頻生成公司為代表；二是?交互式世界（動作條件）路線，以?Google DeepMind Genie等為代表；三是?空間智能（3D結構）路線，以李飛飛 （World Labs）為代表；四是?聯(lián)合嵌入預測（JEPA）路線，為?Yann LeCun（楊立昆）等提出。此外，英偉達（Cosmos/Omniverse）提倡?走?仿真基礎設施?路線。國內的大廠、視頻生成公司、具身智能、3D生成公司等領域的創(chuàng)業(yè)公司，也紛紛提出了自己“世界模型”的路線。

在一片喧囂當中，世界模式路線代表人物之一 李飛飛和World Labs 6月4日再度發(fā)出長文《世界模型的功能分類：渲染器、模擬器、規(guī)劃器，以及連接它們的循環(huán)》 ，把“世界模型”這個概念重新拆開：一個視頻模型、一個游戲引擎、一個機器人demo，三個方向頂著同一個名字。李飛飛認為，它們本質上是“渲染、模擬和規(guī)劃”三件完全不同的事，而其中最不起眼的模擬器，才是物理AI的地基。

這套分類不是憑空發(fā)明的，底下壓著一個經(jīng)典框架：智能體做出動作，改變世界狀態(tài)，再通過觀察感知變化，然后繼續(xù)做動作。所有"世界模型"，不過是這個循環(huán)的不同投影。李飛飛團隊把它拆成了三類。

·渲染器輸出像素，給人看，追求視覺逼真。它是商業(yè)化最成熟的方向，谷歌的相關模型已經(jīng)裝進數(shù)億用戶手機。但天花板也很清楚：它優(yōu)化的是"看起來對"，不是"實際上對"。AI航拍從天上看無可挑剔，一旦試圖開進城市，樓就塌了。

·規(guī)劃器輸出下一步該做什么。機器人demo看起來很唬人，但李飛飛說得很直接："幾乎所有演示都局限于嚴格受控的實驗室環(huán)境。沒有一個在真實部署的復雜度上被驗證過。"從demo到真正干活，中間還隔著巨大鴻溝。但錢已經(jīng)砸下去了。因為能規(guī)劃的機器人，才是能干活的機器人。

·模擬器輸出的是幾何數(shù)據(jù)、物理參數(shù)和碰撞網(wǎng)格。沒有任何好看的東西。但如果把這件事比作蓋樓，渲染器是外立面，規(guī)劃器是動線，模擬器才是地基和承重墻。語言是對世界的抽象，像素是對世界的投影，而幾何、物理和動力學，才更接近世界本身。

李飛飛用"杯子放在桌上"講透了三者的關系：一個模型如果真正理解杯子的幾何、材質和受力，就應該能從任何角度渲染它，模擬它被推倒后會發(fā)生什么，也能規(guī)劃一只手把它拿起來。三種能力共享同一套底層理解。

反過來卻不成立。只會渲染，或者只會規(guī)劃，都不一定做得到另外兩件事。因為模擬器操作的那一層，幾何、物理和動力學，恰好就是三者共享的底層本身。這就是模擬器被稱為"關鍵樞紐"的原因：掌握了模擬，既可以投射成像素給人看，也可以投射成動作給機器人用。

當然，李飛飛自己的World Labs做的就是模擬器，她不是旁觀者。但這套論證不只靠立場，也靠邏輯。

這條路的商業(yè)想象空間最大，問題也最大。三維數(shù)據(jù)比互聯(lián)網(wǎng)視頻稀缺好幾個數(shù)量級，仿真到現(xiàn)實的鴻溝依然在，多物理場模擬的計算成本同樣高出數(shù)量級。模擬器是最重要的一環(huán)，也是最難啃的一環(huán)。

但更重要的變化在后面：三條線正在合并。渲染器開始接受動作輸入，模擬器越來越可控，規(guī)劃器也從"反應"走向"深思熟慮"。三條分別撐起數(shù)十億乃至數(shù)萬億美元想象空間的技術路線，正在從獨立項目走向同一件事。邏輯終點，是一個統(tǒng)一世界模型，能在三種輸出模式之間切換。

這指向一次更深層的范式翻轉。過去十年，AI的核心是預測下一個token。但語言的邊界，不是世界的邊界。空間智能學的是光怎么落在表面，物體怎么遵守物理定律。這是完全不同的底層邏輯。如果這個方向成立，AI的下一跳不是繼續(xù)堆更大的語言模型，而是讓機器真正"住進"物理世界。

像素可以說謊，物理不能。AI照片能騙過眾多網(wǎng)友，但機器人走進廚房，地板上一道兩毫米的高差就能讓它露餡。

李飛飛和她的團隊，在行業(yè)最熱的時候，畫了一張冷靜的路線圖：渲染、模擬、規(guī)劃。三個詞拆開，該做什么，缺什么，什么最難，一目了然。

在一片"世界模型"的口號聲中，先把這三個詞分清楚，再來談改變世界。

反應強烈：通往AGI的路，

是讓機器“住進”這個世界

李飛飛原文在X等社交媒體和博客發(fā)布后，反響強烈：

投資人賈斯汀·摩爾（Justine Moore）轉發(fā)時寫道："'世界模型'大概是眼下AI領域最被濫用的一個詞。如果你搞不清世界模型到底干什么（很多人都搞不清！），強烈推薦李飛飛這篇，她把世界模型拆成了三種功能，還預測了走向。"

AI行業(yè)資深專家揚·克龍貝格（Yann Kronberg）評論："我覺得這篇文章真正有用的一點是，它把'看起來正確'和'真正可用'區(qū)分開了。一個模型可以渲染出漂亮的房間，但仍然不知道椅子是否擋住了門、某個物體能不能移動，或者有外力介入時場景會怎樣。"

硅谷科技高管安舒爾·達萬（Anshul Dhawan）說了一句很精準的話：這三個不是三種產(chǎn)品，是三種功能。這個區(qū)分之所以重要，是因為今天大多數(shù)頂著"世界模型"名號的東西，其實只把其中一種功能做好了。一個能渲染視頻的模型不等于理解世界，正如一個能在實驗室抓杯子的機器人不等于能在真實世界干活。

臨床AI產(chǎn)品負責人魯特維克·沙阿（Rutwik Shah）指出了行業(yè)注意力的偏差："這篇文章太及時了！模擬器是物理AI和機器人技術的先決條件。目前很多討論都集中在外形上，人形還是其他形狀，以及爭搶日常任務中的第一人稱數(shù)據(jù)。然而重建環(huán)境、構建空間感知以便在真實世界中導航和操作，其重要性可能遠不止于此。"

有從業(yè)者據(jù)此提出自己的看法：谷歌、OpenAI、所有人在內的這場智能體競賽，只有在模擬技術成熟之后才能真正規(guī)模化。在那之前，一切都停在"精彩Demo"階段。他寫道："李飛飛在最新文章中再次一針見血，仿真才是真正的關鍵。渲染器能生成漂亮像素，規(guī)劃器能給出流暢動作。但如果沒有一個真正以物理為先的模擬器作為基礎，一切都只能停在'令人印象深刻的演示'這個層面。這意味著什么？整個智能體競賽只有等到仿真技術成熟才能真正規(guī)?；５侥菚r，統(tǒng)一的世界模型才能把空間智能從空談變成真正能工作的機器人、真正能預測物理過程的數(shù)字孿生，以及終于理解因果關系的智能體。對機器人領域的開發(fā)者和設計師來說，這是顛覆性的改變：可靠的sim-to-real遷移終于成為現(xiàn)實，把長達數(shù)月的危險真實環(huán)境測試變成快速、安全、可大規(guī)模擴展的訓練場。這篇分類學文章一下子就把路線圖講清楚了。"

還有讀者留下了更宏觀的判斷："通往AGI的路，可能不是繼續(xù)堆更大的模型，而是讓機器真正'住進'這個世界。"

李飛飛原文全文

原標題：A Functional Taxonomy of World Models — Renderers, Simulators, Planners, and the Loop That Connects Them

中文譯名：《世界模型的功能分類：渲染器、模擬器、規(guī)劃器，以及連接它們的循環(huán)》

作者：李飛飛（Fei-Fei Li）及World Labs團隊

世界不是由詞語構成的。

在更早的一篇文章中，我們提出空間智能是AI的下一個前沿，世界模型是通往它的路徑。這篇文章里，我和World Labs團隊想再往下走一層：在當下眾多被稱為"世界模型"的東西中，到底哪些功能模塊真正組成了這項能力，每一塊又是干什么的？

語言模型賦予了機器對概念、詞匯和推理的非凡掌控力，但物理世界運行在完全不同的基底層上。語言模型學的是文本的統(tǒng)計結構，世界模型學的是空間與時間的統(tǒng)計結構：光如何落在物體表面，一個花園從某個沒被相機拍過的角度看起來是什么樣，物體怎么受力、怎么遵循物理定律。

正因如此，"世界模型"成了今天AI領域最重要、也最被濫用的術語。計算機視覺、機器人學、強化學習和生成式AI各自宣稱在構建世界模型，但每一家指的完全是不同的東西。一個能生成畫面華麗但物理上不可能存在的火焰的視頻模型，一個即興生成可玩游戲的語言模型，一個忠實模擬燃燒過程的物理引擎，它們頂著同一個名字。

古希臘人從未就世界由什么構成達成一致，火、水，還是不可分割的原子，因為"世界"從來不是一個單一概念。它始終是一個占位符，代表某個思想家需要推理的那個"整體"。AI繼承了同樣的困境，而且恰好在這個領域最需要精確性的時刻。

· 分類法底層的那個循環(huán)

撥開這團迷霧，要從一張比所有相關技術都更古老的圖說起。包括薩頓和巴托（Sutton and Barto）經(jīng)典教材在內，強化學習教科書幾十年來一直在用同一個圖的某個版本描述智能體如何與世界交互。學術上的正式名稱叫"部分可觀測馬爾可夫決策過程"（POMDP），而"世界模型"一詞最早的學術定義就出自這個傳統(tǒng)。

一個智能體，可以是人、機器人或軟件系統(tǒng)，執(zhí)行動作。動作影響世界的狀態(tài)。智能體永遠無法直接看到狀態(tài)本身。到達智能體的是觀察：落在視網(wǎng)膜上的光子、傳感器讀數(shù)、視頻幀里的像素。新的觀察催生新的動作，循環(huán)往復。

"狀態(tài)"這個詞要拆開說，因為不同領域含義不同。這里不是化學家說的狀態(tài)，不是固液氣的區(qū)別。這是物理學家和機器人學家說的狀態(tài)：對某一時刻世界正在發(fā)生什么的完整描述，包括每一個物體、每一個位置、每一個速度、每一個屬性。狀態(tài)是世界的底層現(xiàn)實，原則上可以完整定義，但身處其中的智能體無法直接看見它。觀察是智能體對那一現(xiàn)實的部分視角。動作是智能體據(jù)此做出的回應。

這個循環(huán)，智能體到動作到狀態(tài)到觀察再回到智能體，就是賦予"世界模型"這個現(xiàn)代術語以技術含義的結構。詞本身的歷史更早，可以追溯到肯尼斯·克雷克（Kenneth Craik）1943年提出的假說：心智通過運行現(xiàn)實的"小規(guī)模模型"來推理，后來在1980年代末和1990年代初被引入神經(jīng)網(wǎng)絡。這個循環(huán)也解釋了今天人們使用這個術語時到底在指什么。當下被稱為世界模型的各種事物，本質上就是這個循環(huán)的不同投影。每一種輸出的，只是循環(huán)中的不同一塊。

· 世界模型的三種功能

第一種是渲染器。渲染器輸出一幀幀給人眼看的像素，最重要的質量標準是視覺保真度。一個把文字提示轉化為電影級航拍鏡頭的視頻模型，就是渲染器。交互式系統(tǒng)也算，比如谷歌的Genie 3，或者World Labs自己的RTFM，模型根據(jù)用戶輸入實時生成畫面。這類模型對三維結構沒有顯式理解。它生成的是觀看者會看到的東西，而不是事物本身。航拍視角下的建筑從空中看可能無可挑剔，但一旦你試圖駛入下面的城市，它們就崩塌了。

第二種是模擬器。模擬器輸出的是狀態(tài)：一個在幾何、物理和動力學層面都忠實的世界表征，人和程序都可以在上面計算和交互。渲染器的契約是視覺層面的，模擬器的契約是結構層面的，它要求幾何經(jīng)得起審視，物理遵循牛頓定律，動力學按物理定律運行。模擬器同時服務兩類消費者。建筑師、設計師、電影人和游戲開發(fā)者這些人類專業(yè)人士，需要超越視覺可信度的準確性。強化學習智能體、機器人控制器和自動駕駛汽車這些程序，則把模擬器當訓練場，在里面與世界大規(guī)模交互，測試那些在現(xiàn)實中危險、昂貴或不可能跑的場景。

第三種是規(guī)劃器。規(guī)劃器輸出的是動作。給定觀察和目標，規(guī)劃器回答的問題是：下一步該做什么。在很多方面，這是渲染器的逆操作。渲染器接收動作作為輸入、產(chǎn)生觀察；規(guī)劃器接收觀察作為輸入、產(chǎn)生動作，閉合了感知-行動循環(huán)。視覺-語言-動作模型、基于模型的系統(tǒng)，以及新一波的"世界-動作模型"，都是規(guī)劃器的嘗試，它們試圖決定一臺機器人在非結構化世界中該做什么。

這三種分類涵蓋了今天大多數(shù)落地產(chǎn)品，區(qū)分在實踐中有用。但三個類別并非根本性地彼此獨立。它們共享同一套關于世界如何運作的底層知識：幾何、物理、動力學。一個能從任何角度渲染一只杯子的模型，原則上也該能模擬杯子被推動時會怎樣，并規(guī)劃一只手去把它拿起來。越來越多的前沿研究在刻意模糊三者之間的邊界。

· 為什么模擬器是關鍵樞紐

三者之中，模擬器獲得的公眾關注最少，卻是分量最重的一環(huán)。本文要回應的，正是這種不對稱。

渲染器是商業(yè)化最成熟的方向。一批圖像或視頻生成產(chǎn)品正在消費端和企業(yè)端快速擴張。谷歌的Nano Banana模型已經(jīng)把渲染器級別的圖像生成能力送到了數(shù)億用戶手中。技術是真的，市場也是真的。然而渲染器優(yōu)化的是視覺可信度而非物理準確性，這個天花板至關重要。輸出很漂亮，但不能拿來設計一座建筑或訓練一臺機器人。

規(guī)劃器最引人遐想，也最不成熟，和快速演進的機器人學習領域緊密相連。過去兩年，這個領域產(chǎn)出的機器人演示在視頻里看起來很唬人，但對這些演示到底展示了什么，需要誠實面對。幾乎所有演示都局限于嚴格受控的實驗室環(huán)境，物體種類有限，任務時間很短。沒有一個在真實部署所需的復雜度、多變性和持續(xù)性上被驗證過。從一段精彩的演示短片到一臺能在廚房、倉庫或手術室里穩(wěn)定工作的機器人，中間鴻溝依然巨大。盡管如此，商業(yè)押注不小。一批資金充裕的入局者正在競相交付通用規(guī)劃系統(tǒng)，最大的基礎設施公司正在把規(guī)劃能力架設在更廣泛的模擬棧之上。一臺能規(guī)劃的機器人就是一臺能干活的機器人，整個行業(yè)都在搶那個率先到終點的人。

模擬是兩者之間的橋。如果說語言是對世界的抽象，像素是對世界的投影，那么幾何、物理和動力學就是世界本身。模擬器必須在這一層運作：它是結構性的主干，視覺外觀（供渲染器用）和動作后果（供規(guī)劃器用）都可以從中導出。

一個掌握了模擬的模型，可以把自己的理解投射為像素供人消費，也可以投射為動作預測供具身智能體使用。一個只掌握了渲染或只掌握了規(guī)劃的模型，反過來做不到。商業(yè)覆蓋面極廣。僅英偉達Omniverse一個平臺，就瞄準了公司自己估計超萬億美元的可尋址市場，涵蓋工廠、倉庫、供應鏈和數(shù)字孿生。機器人訓練、自動駕駛測試、建筑可視化、工程設計和藥物發(fā)現(xiàn)，所有這些賽道都依賴某種形態(tài)的模擬能力。

這個領域最難的開放問題也集中在這里。帶有明確幾何標注、材質屬性和物理注釋的三維數(shù)據(jù)，比渲染器訓練用的互聯(lián)網(wǎng)視頻稀缺好幾個數(shù)量級。"從模擬到現(xiàn)實"的鴻溝，也就是事物在仿真中的行為與在現(xiàn)實中的行為之間的差異，始終存在。生成式模擬器在此基礎上引入了一層新風險：AI生成的幾何結構可能看起來正確，但暗藏自相交面或錯誤比例尺，一旦接入物理引擎就會產(chǎn)出毫無意義的物理結果。多物理場模擬，剛體、柔性體、流體和布料同時交互，計算成本比單一物理域高出幾個數(shù)量級。

在World Labs，Marble是我們進入這個領域的第一步。它接收多模態(tài)提示（文本、圖像、視頻或空間草圖），生成可探索的三維環(huán)境，同時輸出用于視覺探索的高斯濺射和物理引擎可操作的碰撞網(wǎng)格。但Marble只是一段更漫長故事的第一章，隨著渲染、模擬和規(guī)劃之間的邊界開始消融，這個故事正在整個領域被書寫。

· 邊界正在消融，接下來會怎樣

但更重要的還在后面。當下這個領域最重要的趨勢是：三個類別正在相互融合。共享的洞見在于，渲染一個世界、模擬一個世界、在一個世界中行動所需的知識，大體上是同一套。延續(xù)前面的例子，一個真正理解杯子如何放在桌上的模型，理解它的幾何形狀、材質屬性、受力反應，應該能從任何角度渲染那個杯子，能模擬杯子被推倒時會怎樣，也能規(guī)劃一只手去把杯子拿起來。三個類別是同一套底層理解的三種投影。

舉例來說：近期有數(shù)量不多但持續(xù)增長的研究，來自多個機器人實驗室，已經(jīng)證明至少在概念上，一個預訓練的視頻渲染器可以被用作"世界+動作"聯(lián)合預測的主干網(wǎng)絡。這暗示了渲染器和規(guī)劃器之間的一座橋，讓一個模型同時想象會發(fā)生什么和該做什么。World Labs的Marble已經(jīng)能從同一個模型同時輸出高斯濺射和碰撞網(wǎng)格，消解了渲染器和模擬器之間的邊界。每一個層面都在從被動輸出走向交互式系統(tǒng)：渲染器開始接受動作輸入，模擬器產(chǎn)出的世界越來越可控可編輯，規(guī)劃器從簡單反應走向深思熟慮。

邏輯終點是一個統(tǒng)一的世界模型：一個基礎模型，能渲染照片級逼真的視角，生成物理精確的結構，規(guī)劃動作序列，根據(jù)下游需要在輸出模式之間切換。我們面前仍有一系列令人生畏的挑戰(zhàn)。數(shù)據(jù)圖景極不均衡：渲染器浸泡在互聯(lián)網(wǎng)視頻的海洋中，模擬器和規(guī)劃器面臨三維資產(chǎn)和機器人演示數(shù)據(jù)的嚴重短缺。優(yōu)化視覺美感可能犧牲機器人或高精度模擬所需的精確性。在一個架構內調和這些矛盾，是今天世界模型研究中最核心的開放問題，也是World Labs在持續(xù)演進Marble的過程中決心去做的事。

然而方向是清晰的。自1980年代末以來，這個領域一直在押同一個賭注：一個足夠豐富的世界模型，就是任何智能體去看世界、構建世界、在世界中行動所需的全部。這個賭注如今正驅動著整整一代研究。賦予這一賭注分量的，是正在發(fā)生的融合：三條各自已經(jīng)推動和塑造了數(shù)十億美元產(chǎn)業(yè)的技術路線，最初以獨立研究項目起步，現(xiàn)在開始表現(xiàn)得像一個整體。隨著它們之間的邊界消融，它們將重塑一個更大的東西：機器智能與其所棲居的物理世界之間的關系，也就是空間智能的長弧。

語言賦予了機器談論世界的方式。世界模型，是機器終于開始理解、想象、推理這個世界，并在其中與之互動的方式。