針對端到端全模態(tài)大模型（OmniLLMs）在跨模態(tài)對齊和細(xì)粒度理解上的痛點(diǎn)，浙江大學(xué)、西湖大學(xué)、螞蟻集團(tuán)聯(lián)合提出 OmniAgent。這是一種基于「音頻引導(dǎo)」的主動(dòng)感知 Agent，通過「思考 - 行動(dòng) - 觀察 - 反思」閉環(huán)，實(shí)現(xiàn)了從被動(dòng)響應(yīng)到主動(dòng)探詢的范式轉(zhuǎn)變。

在 Daily-Omni 等多個(gè)基準(zhǔn)測試中，其準(zhǔn)確率超越 Gemini 2.5-Flash 和 Qwen3-Omni 等開閉源模型。

• 論文地址：https://arxiv.org/pdf/2512.23646
• 論文主頁：https://kd-tao.github.io/OmniAgent
• 發(fā)起實(shí)驗(yàn)室ENCODE LAB：https://westlake-encode-lab.github.io/

背景與痛點(diǎn)

1. 端到端全模態(tài)模型雖然實(shí)現(xiàn)了視聽統(tǒng)一，但往往受限于高昂的訓(xùn)練成本和困難的跨模態(tài)特征對齊，導(dǎo)致在細(xì)粒度跨模態(tài)理解上表現(xiàn)不佳；
2. 基于固定 Workflow 的智能體依賴人為設(shè)定僵化的流程，缺乏細(xì)粒度和靈活性，無法根據(jù)問題自主的進(jìn)行規(guī)劃與信息獲取；
3. Caption-based 視頻智能體需要在分析問題之前，先針對整個(gè)視頻構(gòu)建幀 caption 數(shù)據(jù)庫，隨后基于視頻字幕數(shù)據(jù)庫來理解內(nèi)容，但這種方法計(jì)算成本高，難以捕捉細(xì)節(jié)的跨模態(tài)信息。

相比之下，OmniAgent 引入了一種全新的主動(dòng)感知推理范式。通過在迭代反思循環(huán)中策略性地調(diào)度視頻與音頻理解能力，該方法有效攻克了跨模態(tài)對齊的難題，從而實(shí)現(xiàn)了對視聽內(nèi)容的細(xì)粒度理解。

方法論

OmniAgent 摒棄了固定的工作流，采用了「思考 - 行動(dòng) - 觀察 - 反思」閉環(huán)機(jī)制 。

1.思考：OmniAgent 會(huì)根據(jù)問題進(jìn)行分析，自主決定「聽」還是「看」。

2.行動(dòng)：根據(jù)計(jì)劃，OmniAgent 會(huì)從構(gòu)建的多模態(tài)工具中選取合適的工具進(jìn)行調(diào)用：

1. 事件工具：利用音頻能夠高效捕捉全局上下文的特性，首創(chuàng)音頻引導(dǎo)事件定位，快速鎖定關(guān)鍵時(shí)間窗口，避免對長視頻進(jìn)行無效的視覺掃描 。
2. 視頻工具：包含粗粒度的全局視頻問答，以及在特定時(shí)間內(nèi)基于更高幀率進(jìn)行分析的片段問答工具。
3. 音頻工具：涵蓋音頻全局描述、細(xì)粒度問答，以及支持精確時(shí)間戳的語音轉(zhuǎn)錄 （ASR）。

3.觀察與反思機(jī)制：智能體接受工具結(jié)果，評估目前已有的證據(jù)能否正確的回答問題，并且結(jié)合之前在多步推理中進(jìn)行跨模態(tài)一致性檢查，確保視聽證據(jù)互證，解決幻覺與對齊問題。

效果如何？

OmniAgent 在三個(gè)主流視聽理解基準(zhǔn)測試中均取得了 SOTA 成績，顯著優(yōu)于現(xiàn)有的開源及閉源模型：

1.Daily-Omni Benchmark：準(zhǔn)確率達(dá)到 82.71%，超越 Gemini 2.5-Flash (72.7%) 和 Qwen3-Omni-30B (72.08%)，提升幅度超 10% 。

2.OmniVideoBench：在長視頻理解任務(wù)中，準(zhǔn)確率達(dá) 59.1%，大幅領(lǐng)先 Qwen3-Omni-30B (38.4%) 。

3.WorldSense:OmniAgent 也保持了領(lǐng)先的準(zhǔn)確度。

未來愿景

1. OmniAgent 的設(shè)計(jì)理念有很高的擴(kuò)展性，能夠繼續(xù)結(jié)合其他模態(tài)的工具；
2. OmniAgent 能夠幫助生成高質(zhì)量的 COTT 數(shù)據(jù)，用來構(gòu)建可以自我調(diào)用工具的下一代智能體全模態(tài)模型。

總的來看，OmniAgent 證明了在全模態(tài)理解任務(wù)中，音頻引導(dǎo)的的主動(dòng)感知策略是解決跨模態(tài)對齊困難、提升細(xì)粒度推理能力的有效路徑。該工作為未來的全模態(tài) Agent 算法設(shè)計(jì)提供了新的范式參考。