如果你在三年前問AI圈：未來最強(qiáng)的AI長什么樣？

大部分人可能會(huì)回答，一個(gè)更大的GPT，更多參數(shù)，更長上下文，更強(qiáng)推理能力。

然后我們一路從GPT-3.5走到GPT-4、Claude、Gemini、DeepSeek、Qwen。

直到今天，突然發(fā)現(xiàn)一個(gè)有趣的問題：AI已經(jīng)學(xué)會(huì)寫代碼了，學(xué)會(huì)做數(shù)學(xué)題了，甚至學(xué)會(huì)和你討論人生意義了，但它依然不會(huì)給自己倒一杯水。

這正是當(dāng)前AI最大的局限之一：

AI沒有身體。

今天，openJiuwen社區(qū)正式開源Jiuwen Symbiosis，一個(gè)專為更高階的physical AI打造的Symbiosis（共生）架構(gòu)。

從虛擬數(shù)字世界到真實(shí)物理世界，我們給AI裝上了感知和行動(dòng)的“骨骼與肌肉”。

Gitcode傳送門：
gitcode.com/openJiuwen/jiuwensymbiosis

（動(dòng)動(dòng)小手，Star一下不迷路?）

Moravec悖論：最難的不是高數(shù)，而是走路

1988年，機(jī)器人學(xué)家Hans Moravec提出了后來著名的Moravec's Paradox（莫拉維克悖論），其核心思想非常反直覺：

對(duì)于計(jì)算機(jī)來說：

• 下國際象棋很容易
• 做高等數(shù)學(xué)很容易

而對(duì)于人類嬰兒都能完成的事情，反而異常困難：

• 行走
• 抓取
• 避障
• 保持平衡

原因很簡(jiǎn)單，這些能力并不是邏輯推導(dǎo)出來的，而是數(shù)百萬年進(jìn)化形成的身體智能。

這就是大模型時(shí)代的“缸中之腦”困境：智商200，但沒有實(shí)體，對(duì)真實(shí)物理世界的摩擦力、重力和空間幾何一無所知。

從“缸中之腦”到“身體力行”：智能的進(jìn)化史

智能對(duì)外在機(jī)器本體控制的演進(jìn)，本質(zhì)上就是一場(chǎng)從數(shù)字世界到物理現(xiàn)實(shí)的歷程：

1.0手搓任務(wù)（借助人的輔助）：

依靠人的理解，進(jìn)行極為原子化的控制操作。

2.0虛擬環(huán)境演練（Sim2Real）：

在Habitat、AI2-THOR等仿真環(huán)境里模擬，開始有了空間概念，同時(shí)訓(xùn)練一個(gè)或多個(gè)模型，使得大腦可以分析理解指令，并進(jìn)行任務(wù)執(zhí)行。

在2.0這個(gè)階段，一系列的問題會(huì)凸顯出來，最為人詬病的是：

• 缺乏跨本體環(huán)境泛化能力：模型一旦訓(xùn)練完成，其技能集合即固化。要讓機(jī)器人學(xué)會(huì)“開抽屜后抓取內(nèi)部物體”，需要重新采集數(shù)據(jù)、重新訓(xùn)練整個(gè)模型。VLA缺乏組合泛化能力——無法將已學(xué)的“開抽屜”與“抓取”零樣本組合為新任務(wù)。
• 長程復(fù)合任務(wù)能力不足：當(dāng)前模型擅長短程原子操作（如“抓取紅色方塊”），但面對(duì)長程復(fù)合任務(wù)（如“從料架上取Tray盤→繞過設(shè)備→放入機(jī)臺(tái)→按壓確認(rèn)→返回原位”），單一VLA模型缺乏任務(wù)分解、子任務(wù)編排、異?；赝说哪芰ΑＫ荒茉谟?xùn)練分布內(nèi)“模仿”，無法在運(yùn)行時(shí)“規(guī)劃”。
• 故障定位困難：當(dāng)前模型將“視覺→語言理解→物理推理→動(dòng)作生成”全部壓縮進(jìn)一個(gè)Transformer，運(yùn)行時(shí)失?。ㄈ缱ト∑?、碰撞）無法定位故障根因——是感知誤識(shí)別、語言歧義、物理推理錯(cuò)誤，還是控制軌跡發(fā)散。
• 成功率低，穩(wěn)定性差：當(dāng)前模型端到端基礎(chǔ)模型為典型黑盒結(jié)構(gòu)，直接輸出關(guān)節(jié)位姿等底層動(dòng)作指令，大模型兼顧認(rèn)知決策與運(yùn)動(dòng)控制，整體實(shí)現(xiàn)難度大，模型穩(wěn)定性差、任務(wù)成功率低。

3.0共生時(shí)代（Jiuwen Symbiosis正在做的）：

模糊虛擬與現(xiàn)實(shí)的邊界，讓Agent能夠真正理解物理法則，并直接輸出控制硬件底層拓?fù)涞腁ction序列。

Agent時(shí)代的到來

2023年以后，Agent成為整個(gè)AI領(lǐng)域最火熱的方向之一。

大家發(fā)現(xiàn)：大模型已經(jīng)具備不錯(cuò)的推理能力，真正缺少的是行動(dòng)能力。于是出現(xiàn)了：

• Tool Calling
• Function Calling
• MCP
• Browser Agent
• Computer Use Agent

Agent開始獲得操作世界的能力，它們不再只是回答問題。但這里依然存在一個(gè)問題：這些Agent操作的仍然是數(shù)字世界。

不是物理世界。

但經(jīng)過一系列的演進(jìn)，openJiuwen團(tuán)隊(duì)相信具有物理能力的Agent時(shí)代已經(jīng)悄然到來，它比前輩們向著真實(shí)世界更加向前邁進(jìn)了一步。

下一步是讓Agent走進(jìn)現(xiàn)實(shí)世界。簡(jiǎn)單來說，傳統(tǒng)Agent可以簡(jiǎn)化為如下過程：

而physical AI Agent的模式發(fā)生了本質(zhì)的改變——Agent不再面對(duì)文本，而是面對(duì)真實(shí)世界，需要與現(xiàn)實(shí)環(huán)境進(jìn)行交互反饋，整體過程可以簡(jiǎn)化為如下：

但openJiuwen團(tuán)隊(duì)認(rèn)為這依然是遠(yuǎn)遠(yuǎn)不夠的，人類在執(zhí)行任務(wù)的過程中，觀察、反饋等過程是一個(gè)不間斷的實(shí)時(shí)系統(tǒng)。

同時(shí)，理論上，從傳感器-->VLM-->LLM-->Planner-->ROS的整個(gè)過程看起來是非常優(yōu)雅，但實(shí)際執(zhí)行過程中，極有可能變成JSON的極限堆積，并且系統(tǒng)越復(fù)雜，這個(gè)現(xiàn)象越明顯。

最終導(dǎo)致，Agent到底在想什么，為什么做出這個(gè)決策，為什么執(zhí)行失敗，全部變成糊涂賬。

Jiuwen Symbiosis：讓Agent擁有透明的態(tài)勢(shì)感知系統(tǒng)

Jiuwen Symbiosis的設(shè)計(jì)理念非常簡(jiǎn)單：

Agent的思考過程應(yīng)該是可觀察、可調(diào)試、可協(xié)作的。

團(tuán)隊(duì)嘗試把Agent的內(nèi)部狀態(tài)顯式暴露出來，而不是隱藏在黑盒中。

在Jiuwen Symbiosis中：認(rèn)知層與執(zhí)行層通過共享Workspace協(xié)作，解決復(fù)雜任務(wù)執(zhí)行，保障認(rèn)知正確與快速響應(yīng)，并極大簡(jiǎn)化跨本體適配。

同時(shí)，其實(shí)現(xiàn)過程又是豐富且嚴(yán)謹(jǐn)?shù)?，openJiuwen團(tuán)隊(duì)將這個(gè)核心骨架稱為：態(tài)勢(shì)感知環(huán)（Situation Awareness Loop）。

在此基礎(chǔ)上，團(tuán)隊(duì)增加了若干功能模塊，例如安全規(guī)劃，狀態(tài)感知，觀測(cè)反饋，空間記憶等關(guān)鍵技術(shù)模塊。

多模態(tài)感知（Multimodal Perception）

使physical AI Agent主動(dòng)感知世界，是Agent由數(shù)字走向物理的基礎(chǔ)。

同時(shí)，把理解從決策中分離，在進(jìn)行Action之前對(duì)場(chǎng)景進(jìn)行充分理解，產(chǎn)出結(jié)構(gòu)化世界狀態(tài)，例如被檢測(cè)對(duì)象、對(duì)象位姿、置信度等。

安全規(guī)劃（Safe Planning）

基于Prompt任務(wù)指令與結(jié)構(gòu)化世界狀態(tài)，進(jìn)行任務(wù)規(guī)劃，對(duì)相關(guān)Skill中的參數(shù)動(dòng)態(tài)賦值，并進(jìn)行物理可行性、安全性與約束校檢，拒絕不可執(zhí)行方案。

物理執(zhí)行（Physical Action）

按照Skill的建議，調(diào)用相關(guān)Action Tool原子能力，最終完成位移、抓取、放置、交互等一系列連續(xù)可控的物理運(yùn)動(dòng)。

狀態(tài)觀察（Observation）

負(fù)責(zé)對(duì)物理動(dòng)作執(zhí)行后的真實(shí)世界狀態(tài)進(jìn)行采集與結(jié)構(gòu)化提取。

通過視覺等傳感器獲取執(zhí)行結(jié)果，識(shí)別物體位姿、環(huán)境變化、交互效果等關(guān)鍵信息，輸出結(jié)構(gòu)化的世界觀測(cè)狀態(tài)，為后續(xù)Feedback偏差計(jì)算提供客觀依據(jù)。

觀測(cè)反饋（Feedback）

基于觀測(cè)結(jié)果構(gòu)建閉環(huán)修正機(jī)制，將執(zhí)行偏差、異常狀態(tài)、成功/失敗判據(jù)回傳至推理與規(guī)劃模塊。

實(shí)現(xiàn)動(dòng)作參數(shù)實(shí)時(shí)調(diào)整、規(guī)劃序列動(dòng)態(tài)優(yōu)化、異常場(chǎng)景自主恢復(fù)，同時(shí)沉淀交互數(shù)據(jù)用于技能迭代，形成“感知-規(guī)劃-執(zhí)行-觀測(cè)-反饋”的完整閉環(huán)，持續(xù)提升態(tài)勢(shì)感知規(guī)劃的魯棒性。

空間記憶（Spatial Memory）

通過物體級(jí)感知，實(shí)現(xiàn)對(duì)空間的對(duì)象化表征（如3D Scene Graph），構(gòu)建物體級(jí)的空間關(guān)系；通過變化檢測(cè)技術(shù)發(fā)現(xiàn)事件，自動(dòng)化增量式維護(hù)空間關(guān)系。

同時(shí)，通過時(shí)間維度壓縮，空間層級(jí)聚合和情景事件聚類，形成多時(shí)空尺度的組織，使能任務(wù)驅(qū)動(dòng)的空間上下文構(gòu)建。

擁有以上能力的physical AI Agent將為行業(yè)帶來如下變化，體現(xiàn)在如下方面：

• Zero跨本體，跨環(huán)境自主適應(yīng)泛化能力；
• 針對(duì)復(fù)雜任務(wù)，具備自主拆解，分步執(zhí)行能力；
• 減少對(duì)訓(xùn)練數(shù)據(jù)的依賴；
• 本體操作的自我總結(jié)與進(jìn)化能力。

用戶視角下的Jiuwen Symbiosis：

從用戶視角，Jiuwen Symbiosis就是一個(gè)“能懂人話、看得見物理世界、長了四肢的智能助手”。

用戶不需要示教，不需要教它怎么抓東西，怎么走路，就像指揮一個(gè)經(jīng)驗(yàn)豐富的工人一樣，用自然語言下任務(wù)，它就能自己完成感知、理解、規(guī)劃、執(zhí)行。

Symbiosis：共生，而非控制

為什么叫Symbiosis？

因?yàn)槲覀兿嘈盼磥聿⒉皇牵?/p>

而是：

這是一種新的持續(xù)協(xié)作關(guān)系。在這個(gè)系統(tǒng)中，Agent不只是工具，而是長期合作伙伴。

它能夠：

• 理解目標(biāo)
• 主動(dòng)規(guī)劃
• 請(qǐng)求幫助
• 從反饋中學(xué)習(xí)

從而形成真正的人機(jī)共生。

我們將教給機(jī)器人How，而不是傳統(tǒng)的What，允許嘗試并及時(shí)糾錯(cuò)，沉淀經(jīng)驗(yàn)，最終達(dá)到自我演進(jìn)的目標(biāo)。

終極的physical AI不會(huì)由某一家企業(yè)完成，正如Linux沒有由一家公司構(gòu)建，ROS沒有由一家公司構(gòu)建。未來的行業(yè)生態(tài)也需要開放協(xié)作，因此openJiuwen團(tuán)隊(duì)決定開源Jiuwen Symbiosis。

希望它成為一個(gè)透明的Agent for Physics、一個(gè)可擴(kuò)展的physical AI框架、一個(gè)連接大模型與機(jī)器人世界的橋梁。

共生的另一層解讀是算力生態(tài)的親和共生。

Jiuwen Symbiosis輕量化的視覺感知模型可部署在本地端側(cè)，消耗顯存較低，對(duì)包括Ascend在內(nèi)的多種生態(tài)，都可以有較好的適配，例如采用Ascend-SACT/GroundingDINO等。

其輸出結(jié)果完全兼容主流檢測(cè)格式，可直接對(duì)接昇騰版及其他生態(tài)兼容模型，完成下游任務(wù)聯(lián)動(dòng)。

Jiuwen Symbiosis與昇騰、鯤鵬

很多physical AI系統(tǒng)仍然沿用“大模型+GPU”的思路。

但在真實(shí)機(jī)器人場(chǎng)景中，問題往往不是單純的模型推理，而是如何讓感知、認(rèn)知、規(guī)劃和執(zhí)行在有限功耗和有限帶寬下形成穩(wěn)定閉環(huán)。

Jiuwen Symbiosis從設(shè)計(jì)之初就采用了端云協(xié)同架構(gòu)：其中，大規(guī)模推理和復(fù)雜規(guī)劃運(yùn)行在云側(cè)LLM/VLM，端側(cè)則專注于實(shí)時(shí)感知與執(zhí)行。

這種架構(gòu)與昇騰、鯤鵬的異構(gòu)計(jì)算能力形成了天然匹配：

• 昇騰提供較高TOPS的AI推理能力，可承擔(dān)目標(biāo)檢測(cè)、視覺理解、多模態(tài)感知等高頻任務(wù)；
• 鯤鵬CPU則負(fù)責(zé)工具調(diào)度、任務(wù)編排、狀態(tài)管理以及機(jī)器人控制邏輯，實(shí)現(xiàn)低延遲、高可靠的執(zhí)行鏈路。

更重要的是，Jiuwen Symbiosis繼承了OpenJiuwen在鯤鵬與昇騰生態(tài)上的優(yōu)化成果。

在某些場(chǎng)景中，系統(tǒng)能夠?qū)⒁?guī)劃負(fù)載卸載到昇騰NPU，將Agent Runtime、Memory、Workspace、Tool Calling等邏輯運(yùn)行在鯤鵬CPU上，從而避免傳統(tǒng)GPU方案中“所有任務(wù)爭(zhēng)搶同一計(jì)算資源”的瓶頸。

最終形成一種更符合機(jī)器人運(yùn)行規(guī)律的資源分工。

這種分層架構(gòu)不僅提升系統(tǒng)吞吐能力，也顯著降低了端側(cè)部署成本和整體功耗，使Jiuwen Symbiosis能夠更自然地運(yùn)行在機(jī)器人、機(jī)械臂、四足機(jī)器人以及邊緣智能設(shè)備等真實(shí)場(chǎng)景中。

未來

今天的Agent已經(jīng)學(xué)會(huì)閱讀，正在學(xué)會(huì)思考。

下一步，它們將學(xué)會(huì)行動(dòng)。

而當(dāng)感知、認(rèn)知與行動(dòng)形成閉環(huán)時(shí)，真正的physical AI時(shí)代也許才剛剛開始。

如果你也在探索：

• Embodied AI
• Robotics Agent
• VLA/VLM
• World Model
• Physical Intelligence
• ROS2
• Multi-Agent Systems

歡迎加入openJiuwen社區(qū)，一起構(gòu)建下一代物理世界的智能系統(tǒng)。

華為云AgentArts也已將openJiuwen引入到商業(yè)化平臺(tái)能力中，開箱即用，訪問華為云官網(wǎng)即可體驗(yàn)。

*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為原作者所有。