機(jī)器之心編輯部

6 月 15 日，騰訊 Robotics X、福田實(shí)驗(yàn)室與混元團(tuán)隊(duì)聯(lián)合發(fā)布面向真實(shí)世界機(jī)器人操作任務(wù)的端到端具身智能模型Hy-Embodied-0.5-VLA（簡稱HyVLA-0.5）。HyVLA-0.5 基于自研的亞毫米級高精度指套式 UMI 數(shù)據(jù)采集軟硬件（專利：2025020117CN），構(gòu)建了超過 10000 小時(shí)的人類示教數(shù)據(jù)，使模型在監(jiān)督訓(xùn)練階段無需任何遙操作數(shù)據(jù)，也能在多本體真機(jī)任務(wù)中取得高部署成功率；基于純自研 UMI 數(shù)據(jù)訓(xùn)練的模型，HyVLA-0.5 在 RoboTwin 2.0 仿真基準(zhǔn)的簡單與復(fù)雜設(shè)置下均超過 90%，是目前該榜單上 SOTA 的開源 VLA 模型。

在此基礎(chǔ)上，HyVLA-0.5 首次將 Proximalized Preference Optimization（PRO）系統(tǒng)性引入基于流匹配的 VLA 強(qiáng)化后訓(xùn)練，充分利用真實(shí)機(jī)器人失敗數(shù)據(jù)，實(shí)現(xiàn)真實(shí)機(jī)器人任務(wù)接近 100% 的成功率。

視頻鏈接：https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

隨著 VLA 模型在機(jī)器人連續(xù)控制中展現(xiàn)出越來越強(qiáng)的潛力，業(yè)界也逐漸意識(shí)到，通用機(jī)器人能力的形成不能只依賴更大的模型或更強(qiáng)的策略。真實(shí)機(jī)器人部署需要數(shù)據(jù)、模型、預(yù)訓(xùn)練、后訓(xùn)練和執(zhí)行系統(tǒng)協(xié)同設(shè)計(jì)，既要能學(xué)習(xí)復(fù)雜操作技能，也要能在真實(shí)硬件約束下穩(wěn)定運(yùn)行。

HyVLA-0.5 正是在這一背景下提出，目標(biāo)是推動(dòng) VLA 從模型能力驗(yàn)證走向可持續(xù)迭代、可跨本體遷移、可真實(shí)部署的機(jī)器人系統(tǒng)。

Hy-Embodied-0.5-VLA 的整體系統(tǒng)架構(gòu)，涵蓋數(shù)據(jù)采集、模型架構(gòu)、跨本體監(jiān)督微調(diào)、強(qiáng)化學(xué)習(xí)后訓(xùn)練等關(guān)鍵環(huán)節(jié)，體現(xiàn)了其從數(shù)據(jù)到模型再到策略優(yōu)化的全棧式設(shè)計(jì)。

• 項(xiàng)目：https://tairos.tencent.com/openSourceModels/hy-embodied-0.5-vla
• 代碼：https://github.com/Tencent-Hunyuan/Hy-Embodied-0.5-VLA
• 數(shù)據(jù)：https://huggingface.co/datasets/tencent/Hy-Embodied-0.5-VLA-Data

一套覆蓋 “從數(shù)據(jù)到落地” 的機(jī)器人學(xué)習(xí)棧

高精度 UMI 數(shù)據(jù)采集軟硬件：構(gòu)建萬小時(shí)具身數(shù)據(jù)基礎(chǔ)

數(shù)據(jù)是機(jī)器人基礎(chǔ)模型能力的根基。HyVLA-0.5自研了高精度指套式 UMI 數(shù)據(jù)采集裝置，并配套運(yùn)動(dòng)捕捉定位，實(shí)現(xiàn)了面向人類示教的高保真數(shù)據(jù)采集。該裝置不僅能夠記錄第一視角視覺信息，還能通過外部光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)獲得亞毫米級 6-DoF 軌跡標(biāo)注；部分夾爪還集成了末端力 / 力矩傳感能力，使數(shù)據(jù)天然包含可用于力感知、力控學(xué)習(xí)的物理交互信息。

基于這套自研采集系統(tǒng)，HyVLA-0.5 構(gòu)建了超過10,000 小時(shí)、覆蓋 70 類任務(wù)、超過 100 萬條 episode 的 Hy-UMI-10K 數(shù)據(jù)集。該數(shù)據(jù)集涵蓋廚房、洗衣、收納、清潔、工具使用、柔性物體操作等多類日常場景，為學(xué)習(xí)精細(xì)操作、長程任務(wù)和跨場景泛化提供了規(guī)?；A(chǔ)。HyVLA-0.5 計(jì)劃開放其中 2,000 小時(shí)自采 UMI 數(shù)據(jù)，與學(xué)術(shù)界和產(chǎn)業(yè)界共同推進(jìn)高質(zhì)量機(jī)器人數(shù)據(jù)、評測與模型訓(xùn)練范式的共研共建。

自研 UMI 數(shù)據(jù)采集工作站

自采 Hy-UMI-10K 數(shù)據(jù)集組成

模型架構(gòu)：基于 Hy-Embodied-0.5 引入行動(dòng)、記憶和跨本體能力

在模型側(cè)，HyVLA-0.5 基于騰訊 Robotics X 和混元聯(lián)合自研的Hy-Embodied-0.5 具身視覺語言模型進(jìn)行擴(kuò)展，將其面向視覺語言理解的能力進(jìn)一步連接到機(jī)器人連續(xù)控制。系統(tǒng)引入基于流匹配的行動(dòng)專家模塊，直接生成連續(xù)動(dòng)作軌跡；同時(shí)通過雙塔結(jié)構(gòu)將視覺語言理解與動(dòng)作生成解耦，使語義感知、空間理解和底層控制能夠在統(tǒng)一框架中協(xié)同工作。

為了支持真實(shí)機(jī)器人中的時(shí)序感知，HyVLA-0.5 進(jìn)一步設(shè)計(jì)了一個(gè)緊湊記憶編碼器，將多幀、多視角視覺歷史壓縮為緊湊的當(dāng)前幀表示，從而在不顯著增加視覺 token 數(shù)量的情況下引入短時(shí)記憶。系統(tǒng)還采用增量式動(dòng)作塊表示，讓策略預(yù)測相對于當(dāng)前末端執(zhí)行器狀態(tài)的增量動(dòng)作，從而降低對特定機(jī)器人關(guān)節(jié)結(jié)構(gòu)和運(yùn)動(dòng)學(xué)的依賴，為后續(xù)跨本體遷移和統(tǒng)一部署奠定基礎(chǔ)。

HyVLA-0.5 模型架構(gòu)。MoT 架構(gòu)搭建，借助共享聯(lián)合注意力機(jī)制實(shí)現(xiàn)多模態(tài)信息交互，圖像編碼器被拓展為輕量化記憶編碼器，沿用 Hy-Embodied-0.5 模型的設(shè)計(jì)思路，引入局部雙向注意力對多視角觀測信息建模。

持續(xù)預(yù)訓(xùn)練與監(jiān)督微調(diào)：從 UMI 行動(dòng)先驗(yàn)到同本體 / 跨本體真機(jī)任務(wù)

在訓(xùn)練流程上，HyVLA-0.5 首先在 Hy-UMI-10K上進(jìn)行持續(xù)預(yù)訓(xùn)練，學(xué)習(xí)來自大規(guī)模人類示教的通用行動(dòng)先驗(yàn)。隨后，系統(tǒng)在下游任務(wù)上進(jìn)行監(jiān)督微調(diào)，并將真實(shí)機(jī)器人評測組織為兩條互補(bǔ)的 SFT trackTrack-A面向目標(biāo)機(jī)器人適配，即在同一機(jī)器人平臺(tái)上采集示教并部署評測；Track-B面向 UMI-only 跨本體遷移，即只使用任務(wù)相關(guān) UMI 示教進(jìn)行微調(diào)，不采集目標(biāo)機(jī)器人遙操作數(shù)據(jù)，隨后部署到形態(tài)不同的真實(shí)機(jī)器人上。

這一設(shè)計(jì)使 HyVLA-0.5 能夠同時(shí)驗(yàn)證兩類關(guān)鍵能力：一方面，在 Track-A 中評估模型在目標(biāo)機(jī)器人上的精細(xì)適配能力；另一方面，在 Track-B 中評估高精度 UMI 數(shù)據(jù)和預(yù)訓(xùn)練行動(dòng)先驗(yàn)是否能夠跨越人類手持采集裝置與不同機(jī)器人平臺(tái)之間的本體差異。

實(shí)驗(yàn)顯示，UMI 預(yù)訓(xùn)練不僅在仿真任務(wù)中帶來穩(wěn)定增益，在真實(shí)機(jī)器人任務(wù)中收益更為顯著，尤其有助于提升精細(xì)操作中的關(guān)鍵動(dòng)作預(yù)測質(zhì)量。更重要的是，高精度 UMI 數(shù)據(jù)不僅可用于大規(guī)模持續(xù)預(yù)訓(xùn)練，也可以直接作為下游任務(wù)的后訓(xùn)練 / 微調(diào)軌跡，使模型在無需目標(biāo)機(jī)器人遙操作數(shù)據(jù)的條件下，仍能在跨本體真機(jī)任務(wù)中取得較好的部署成功率。

視頻鏈接：https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

FlowPRO 強(qiáng)化學(xué)習(xí)后訓(xùn)練：將真實(shí)失敗案例轉(zhuǎn)化為快速策略提升

在后訓(xùn)練階段，團(tuán)隊(duì)引入FlowPRO，將Proximalized Preference Optimization（PRO）首次系統(tǒng)性應(yīng)用到基于流匹配的 VLA 的真實(shí)機(jī)器人后訓(xùn)練中。與依賴人工設(shè)計(jì)獎(jiǎng)勵(lì)或?qū)W習(xí)判別模型的方法不同，F(xiàn)lowPRO 通過真實(shí)機(jī)器人執(zhí)行中的干預(yù)與回滾機(jī)制，直接采集成對的失敗軌跡和成功糾正軌跡，并將其轉(zhuǎn)化為可用于離線偏好優(yōu)化的訓(xùn)練信號(hào)。

FlowPRO 的核心是 RPRO loss：它在連續(xù)動(dòng)作生成的流匹配目標(biāo)中直接對比偏好動(dòng)作與非偏好動(dòng)作，使策略在每個(gè)狀態(tài)上向成功糾正動(dòng)作靠近、遠(yuǎn)離失敗動(dòng)作；同時(shí)通過近端正則項(xiàng)約束策略更新，抑制隱式獎(jiǎng)勵(lì)漂移，降低獎(jiǎng)勵(lì)黑客和災(zāi)難性遺忘風(fēng)險(xiǎn)。實(shí)驗(yàn)中，F(xiàn)lowPRO 在 Bottle、Cap、USB、Zip 等四個(gè)真實(shí)雙臂任務(wù)上持續(xù)優(yōu)于 DAgger 和 PI0.6 * 方案，并在三輪后訓(xùn)練后將多項(xiàng)任務(wù)成功率推進(jìn)到接近天花板水平。

視頻鏈接：https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

真機(jī)部署：異步推理與軌跡平滑支撐高頻閉環(huán)控制

真實(shí)部署是從模型走向機(jī)器人系統(tǒng)的最后一環(huán)。HyVLA-0.5 面向不同機(jī)器人平臺(tái)設(shè)計(jì)了跨機(jī)器人形態(tài)的平臺(tái)映射機(jī)制，將模型輸出的末端增量動(dòng)作映射到目標(biāo)機(jī)器人坐標(biāo)系和逆運(yùn)動(dòng)學(xué)求解過程，使同一策略接口能夠服務(wù)于固定基座雙臂、類人形機(jī)器人等不同形態(tài)。

同時(shí)，HyVLA-0.5 實(shí)現(xiàn)了異步推理與執(zhí)行框架，將高容量 VLA 的前向推理和機(jī)器人伺服執(zhí)行解耦，通過動(dòng)作指令緩沖區(qū)在推理線程與執(zhí)行線程之間持續(xù)傳遞動(dòng)作指令，從而減少推理延遲對機(jī)器人連續(xù)運(yùn)動(dòng)的影響。針對基于動(dòng)作塊策略容易出現(xiàn)的動(dòng)作邊界不連續(xù)問題，系統(tǒng)進(jìn)一步引入延遲感知的三次貝塞爾軌跡拼接方法，在無需額外訓(xùn)練控制器的情況下實(shí)現(xiàn)平滑、連續(xù)的高頻執(zhí)行。

視頻鏈接：https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

基準(zhǔn)測評：邁向可部署通用機(jī)器人學(xué)習(xí)棧

在 RoboTwin 2.0 仿真基準(zhǔn)上，HyVLA-0.5 在 Clean 和 Randomized 設(shè)置中分別達(dá)到 90.9% 和 90.1% 的成功率，超過多種同期 VLA 系統(tǒng)。在真實(shí)機(jī)器人評測中，HyVLA-0.5 覆蓋 Dobot X-Trainer、JAKA K1、Astribot S1 和 Unitree G1 等多個(gè)平臺(tái)，驗(yàn)證了同本體適配、跨本體遷移、力感知任務(wù)和 FlowPRO 后訓(xùn)練能力。

RoboTwin 2.0 仿真測評結(jié)果。

六個(gè)真機(jī)任務(wù)上的測評結(jié)果。Track-A （使用同本體數(shù)據(jù)微調(diào)）：使用 X-Trainer 數(shù)據(jù)微調(diào)部署到 X-Trainer 上。 Track-B（使用跨本體數(shù)據(jù)微調(diào)）：使用高精度 UMI 數(shù)據(jù)微調(diào)微調(diào)部署到 JAKA K1 和 Astribot S1 上

RL 后訓(xùn)練測評結(jié)果。以 HyVLA-0.5 作為基礎(chǔ)策略，四項(xiàng)真實(shí)機(jī)器人任務(wù)下每輪迭代的任務(wù)成功率。第 0 輪迭代對應(yīng)監(jiān)督微調(diào)模型檢查點(diǎn)；第 1–3 輪迭代代表連續(xù)多輪后訓(xùn)練過程。

遠(yuǎn)不止 VLA，騰訊 Robotics X 已經(jīng)開源和落地多個(gè)領(lǐng)先模型

HyVLA-0.5 不止于提出一個(gè)新的 VLA 模型，而在于展示了一條面向真實(shí)機(jī)器人落地的全棧路線：用高質(zhì)量自采數(shù)據(jù)構(gòu)建行動(dòng)先驗(yàn)，用具身原生架構(gòu)連接視覺語言理解與連續(xù)控制，用 UMI 預(yù)訓(xùn)練和雙 track 微調(diào)驗(yàn)證跨本體遷移，用 FlowPRO 將失敗案例轉(zhuǎn)化為策略迭代動(dòng)力，并用異步部署系統(tǒng)支撐真實(shí)硬件上的穩(wěn)定閉環(huán)執(zhí)行。

追求真實(shí)場景驗(yàn)證，是騰訊 Robotics X 實(shí)驗(yàn)室這兩年最重要的方向之一。追蹤騰訊過去一年在具身智能方向的布局可以看到，此次發(fā)布的意義在于：HyVLA-0.5 將感知、推理與行動(dòng)貫通為一套面向真實(shí)機(jī)器人操作的 VLA 系統(tǒng)，并開始進(jìn)入工業(yè)產(chǎn)線場景接受測試驗(yàn)證。

在過去的 2025 年至 2026 年期間，騰訊 Robotics X 實(shí)驗(yàn)室聯(lián)合混元團(tuán)隊(duì)，已經(jīng)構(gòu)建起了一個(gè)從底層平臺(tái)基礎(chǔ)設(shè)施到行業(yè)多模態(tài)大模型的完整開源矩陣。

此前，騰訊發(fā)布并開源HY-Embodied-0.5 系列模型。這是一套面向真實(shí)世界具身智能體的基礎(chǔ)模型，重點(diǎn)增強(qiáng)空間和時(shí)間視覺感知，以及預(yù)測、交互、規(guī)劃等具身推理能力。

相比通用視覺語言模型，HY-Embodied-0.5 更像是為機(jī)器人任務(wù)重新設(shè)計(jì)的多模態(tài)底座。它關(guān)注的不只是圖像問答，也包括機(jī)器人在真實(shí)環(huán)境中需要的空間定位、時(shí)序理解和任務(wù)推理。

隨后，騰訊又發(fā)布HY-Embodied-0.5-X。這一增強(qiáng)版模型繼續(xù)圍繞真實(shí)機(jī)器人 “看得懂、想得清、做得到” 的閉環(huán)進(jìn)行專項(xiàng)優(yōu)化，強(qiáng)化精細(xì)操作理解、空間推理、動(dòng)作預(yù)測、風(fēng)險(xiǎn)判斷、多模態(tài)指代理解和長程規(guī)劃等能力。

不久前，騰訊還開放了自研的機(jī)器人本體互連技術(shù) RoboFusion，可實(shí)現(xiàn)機(jī)器人 “一線到底” 理想的連接方式，降低布線復(fù)雜性與故障風(fēng)險(xiǎn)，同時(shí)定義了以 IP 協(xié)議為基礎(chǔ)的本體通信方式，融合了機(jī)器人多業(yè)務(wù)的數(shù)據(jù)傳輸，使機(jī)器人具備更高級的軟件重構(gòu)、軟件定義的特征。在騰訊 Robotics X 實(shí)驗(yàn)室的示范機(jī)器人系統(tǒng)上，RoboFusion 可將線束從 35 束減少到 3 束，相當(dāng)于消除了 32 條獨(dú)立通道的布線負(fù)擔(dān)，這對于機(jī)器人本體互連而言，是一項(xiàng)革命性的跨越。

騰訊 Robotics X 的新變化

從 2025 年開始，騰訊 Robotics X 實(shí)驗(yàn)室變得不一樣了 —— 更重視軟件算法、AI 模型的研發(fā)，并且強(qiáng)調(diào)開源開放共享。

2025 年，騰訊 Robotics X 實(shí)驗(yàn)室聯(lián)合福田實(shí)驗(yàn)室推出Tairos（鈦螺絲） 具身智能開放平臺(tái)

Tairos 面向機(jī)器人本體廠商和應(yīng)用開發(fā)商，以模塊化方式提供大模型開發(fā)工具和數(shù)據(jù)服務(wù)，首批集成多模態(tài)感知模型、規(guī)劃大模型、感知 - 行動(dòng)聯(lián)合大模型等核心組件，同時(shí)提供仿真平臺(tái)、數(shù)據(jù)服務(wù)和 SDK 接口。

騰訊首席科學(xué)家、Robotics X 實(shí)驗(yàn)室主任、福田實(shí)驗(yàn)室主任張正友博士此前提到，基于規(guī)劃大模型、感知模型、感知行動(dòng)聯(lián)合大模型結(jié)合的 SLAP3 理論，騰訊 Robotics X 聯(lián)合福田實(shí)驗(yàn)室推出 Tairos 具身智能開放平臺(tái)，用模塊化方式提供大模型開發(fā)工具和數(shù)據(jù)服務(wù)，支持具身智能機(jī)器人行業(yè)發(fā)展。

這句話點(diǎn)出了 Tairos 的本質(zhì)：為機(jī)器人本體開發(fā)商和應(yīng)用開發(fā)商補(bǔ)齊關(guān)鍵軟件能力。

對機(jī)器人廠商來說，這類開放能力的價(jià)值很直接。

本體廠商擅長機(jī)械結(jié)構(gòu)、電機(jī)控制、供應(yīng)鏈和硬件量產(chǎn)，但并不一定都有能力從零訓(xùn)練具身大模型。應(yīng)用開發(fā)商熟悉場景，但也很難獨(dú)立完成數(shù)據(jù)采集、模型訓(xùn)練、仿真驗(yàn)證和硬件適配。

Tairos 和 HY-Embodied 系列模型試圖降低這部分門檻，讓更多廠商能接入一套相對成熟的大腦能力。

過去，很多機(jī)器人 demo 看起來足夠驚艷，但一旦進(jìn)入開放環(huán)境，就會(huì)迅速暴露不足。機(jī)器人要從展臺(tái)走向工廠、商超、家庭和服務(wù)場景，靠的不會(huì)只是某一個(gè)更強(qiáng)的模型，還需要一套能夠持續(xù)迭代的軟件體系。

騰訊正在做的，正是這件事。

短短一年間，從 Tairos 到 HY-Embodied-0.5，再到 HY-Embodied-0.5-X 和 Hy-Embodied-0.5-VLA，騰訊補(bǔ)齊了平臺(tái)、模型、數(shù)據(jù)、訓(xùn)練和部署等關(guān)鍵環(huán)節(jié)。每一步都有真實(shí)工程產(chǎn)出，也都選擇開放給行業(yè)。

這條路線背后，是騰訊在機(jī)器人方向越來越清晰的定位：把算法、模型和平臺(tái)能力，沉淀為更多機(jī)器人廠商可以接入的大腦底座。

具身智能的落地，不會(huì)只來自某一次炫目的演示。它更可能來自開放模型的持續(xù)迭代、真實(shí)數(shù)據(jù)的不斷積累、真機(jī)失敗后的快速修正，以及整個(gè)行業(yè)共同搭建起來的軟件基礎(chǔ)設(shè)施。

等這套基礎(chǔ)設(shè)施足夠穩(wěn)固，機(jī)器人進(jìn)入真實(shí)物理世界的速度，才會(huì)真正加快。

https://wuyeyexvnainai.github.io/flowpro/

https://github.com/Tencent-Hunyuan/HY-Embodied

https://github.com/Tencent-Hunyuan/HY-Embodied-0.5-X

https://github.com/Tencent-Hunyuan/Hy-Embodied-RoboFusion