「2018 到 2023 年間在 EMNLP 會(huì)議上發(fā)表的那篇論文中，第一作者本科就讀于達(dá)特茅斯學(xué)院、第四作者本科就讀于賓夕法尼亞大學(xué)的那篇科學(xué)論文，題目是什么？」

這并不是一道靠記憶就能解答的題。Agent 必須在多輪環(huán)境交互中，不斷假設(shè)、驗(yàn)證并修正路徑，始終保持推理一致性，才能將零散證據(jù)整合成自洽鏈條。

2025 年被視為 AI Agent 元年，但真正的自主 Agent 核心在于「深度搜索」，在長(zhǎng)程任務(wù)中像人類專家一樣維持目標(biāo)、驗(yàn)證信息并動(dòng)態(tài)調(diào)整策略。然而，訓(xùn)練這樣的 Agent 面臨三大瓶頸：

• 數(shù)據(jù)稀缺：高難度長(zhǎng)程問答任務(wù)極度依賴人工標(biāo)注，成本高昂。因此，我們需要一條能夠自動(dòng)化合成高難度問題的鏈路。
• 能力鴻溝：預(yù)訓(xùn)練模型雖知識(shí)儲(chǔ)備豐富，卻缺乏與真實(shí)環(huán)境進(jìn)行長(zhǎng)程交互的能力。這需要通過低成本的中訓(xùn)練階段來(lái)彌補(bǔ)鴻溝。
• 環(huán)境缺失：在真實(shí)環(huán)境中訓(xùn)練成本高且不可控。一個(gè)功能等價(jià)的模擬環(huán)境，可以在本地復(fù)現(xiàn)搜索過程，從而支持算法的快速迭代。

為突破瓶頸，REDSearcher 團(tuán)隊(duì)設(shè)計(jì)了一套低成本、可擴(kuò)展的訓(xùn)練框架，最終使用 30B 規(guī)格模型在深度搜索任務(wù)上取得開源模型 SoTA，并且超越了 GPT-5 等一眾閉源模型。

• 論文標(biāo)題：REDSearcher: A Scalable and Cost-Efficient Framework for Long-Horizon Search Agents
• 項(xiàng)目主頁(yè)：https://github.com/RedSearchAgent/REDSearcher
• 論文鏈接：https://arxiv.org/abs/2602.14234
• Collections：https://huggingface.co/collections/Zchu/redsearcher

一、什么是「足夠難」的深度搜索題目？

什么是困難的搜索題目？推理跳數(shù)往往只是表象，應(yīng)該追求的是問題的結(jié)構(gòu)性困難。

1. 拓?fù)鋸?fù)雜度：用樹寬衡量「結(jié)構(gòu)性困難」

復(fù)雜任務(wù)中，信息分叉交織形成回環(huán)。Agent 需同時(shí)記憶多路推論，時(shí)刻驗(yàn)證一致性，并隨時(shí)準(zhǔn)備整體回溯，這便是深度搜索的核心挑戰(zhàn)。為此，團(tuán)隊(duì)引入圖論中的TreeWidth（樹寬）概念來(lái)刻畫這種「結(jié)構(gòu)性困難」。以下通過三種結(jié)構(gòu)問題進(jìn)行對(duì)比：

• 線性/樹狀（樹寬=1）：典型鏈?zhǔn)酵评恚恍璋床烤桶鄼z索便可解答。
• 菱形/回環(huán)（樹寬=2）：出現(xiàn)分叉與重匯合，要求 Agent 維持多路假設(shè)的一致性，并在矛盾時(shí)進(jìn)行回溯。
• 強(qiáng)耦合子圖（樹寬≥3）：形成網(wǎng)狀約束，需要將零散證據(jù)拼合成一致的整體，迫使模型進(jìn)行全局驗(yàn)證和回溯。

2. 信息分散度：杜絕搜索「捷徑」

即使問題的拓?fù)浣Y(jié)構(gòu)很復(fù)雜，如果存在一個(gè)網(wǎng)頁(yè)恰好包含所有關(guān)鍵事實(shí)，模型一次檢索就能抄走答案。為此，團(tuán)隊(duì)引入「信息分散度」，即覆蓋全部關(guān)鍵證據(jù)所需的最小來(lái)源數(shù)。信息分散度越大，表明問題相關(guān)的證據(jù)片段（注：原文為“爭(zhēng)取片段”，疑為筆誤，此處已作修正）在互聯(lián)網(wǎng)上的分布就更加零散，這迫使 Agent 與外部環(huán)境進(jìn)行更多輪次的交互從而獲取更加充分的信息。

二、大規(guī)?！缸詣?dòng)化」合成

「高難度」的深度搜索問題

基于雙約束復(fù)雜度標(biāo)準(zhǔn)，我們采用 graph-to-text 流程合成數(shù)據(jù)：先生成符合樹寬與分散度的推理圖，再將其翻譯為自然語(yǔ)言問題，并經(jīng)過多層校驗(yàn)確?！父唠y度、可解且答案唯一」。同時(shí)，我們?cè)O(shè)計(jì)了基于「結(jié)構(gòu)化信息」與「網(wǎng)絡(luò)瀏覽」兩套圖構(gòu)造流程，以覆蓋不同搜索環(huán)境。在合成問題中，我們采?。?/p>

• 拓?fù)浣Y(jié)構(gòu)增強(qiáng)：直接生成高樹寬圖的成功率較低。為此，我們引入大模型智能體對(duì)初始依賴圖進(jìn)行「拓?fù)浼用堋?，通過添加環(huán)狀與交錯(cuò)約束，顯著提升結(jié)構(gòu)復(fù)雜度，迭代地提高問題難度。
• 工具增強(qiáng)的問題合成：在問題構(gòu)造階段，我們主動(dòng)植入工具調(diào)用需求。通過將關(guān)鍵實(shí)體替換為隱含工具依賴的表達(dá)（如地名→地圖服務(wù)、文章→谷歌學(xué)術(shù)），使工具調(diào)用成為解題前置條件。

三、多模態(tài)擴(kuò)展：從「文本圖」到「多模態(tài)圖」

在文本合成基礎(chǔ)上，REDSearcher 通過模態(tài)注入將純文本推理圖轉(zhuǎn)化為跨模態(tài)推理，使部分約束錨定在圖像中。

• 視覺屬性錨定：用圖像描述替換節(jié)點(diǎn)的文本屬性，迫使模型先識(shí)別圖像再關(guān)聯(lián)知識(shí)。
• 跨模態(tài)依賴：設(shè)置視覺不可替代約束，使圖像搜索成為推理必經(jīng)之路，而非冗余信息。
• 視覺語(yǔ)義抽象：使用抽象指代替代直接命名，迫使模型識(shí)別圖像內(nèi)容后再進(jìn)行搜索。
• 模態(tài)靈活插入：視覺證據(jù)可插入推理鏈任意位置，既可早期設(shè)置瓶頸增加難度，也可后期引入驗(yàn)證，實(shí)現(xiàn)難度精細(xì)控制。

通過這套輕量級(jí)擴(kuò)展，REDSearcher 可高效遷移至多模態(tài)搜索領(lǐng)域，合成高質(zhì)量的圖文深度搜索問題。

四、「成本可控」Mid-Training 強(qiáng)化智能體能力

預(yù)訓(xùn)練模型缺乏多輪交互訓(xùn)練，在長(zhǎng)程搜索中易出現(xiàn)目標(biāo)漂移、重復(fù)搜索等問題。為此，REDSearcher 采用可擴(kuò)展的兩階段 Mid-Training 框架，依次強(qiáng)化模型的「原子能力」與「組合能力」，實(shí)現(xiàn)從語(yǔ)言建模到智能體的過渡。

原子能力建設(shè)

針對(duì)深度搜索重要的兩個(gè)基礎(chǔ)能力優(yōu)化：

• 意圖錨定：從含噪的觀測(cè)中精準(zhǔn)抓取關(guān)鍵證據(jù)，過濾噪聲，減少幻覺與推理漂移。
• 層次化規(guī)劃：將復(fù)雜目標(biāo)拆解為可立即求解的具體目標(biāo)與需逐步消解的不確定目標(biāo)，確保規(guī)劃可落地。

組合能力建設(shè)

通過環(huán)境交互強(qiáng)化長(zhǎng)程任務(wù)中的狀態(tài)維持與目標(biāo)一致性，全程以成本為約束：

• 工具調(diào)用能力：通過合成工具協(xié)議與本地模擬環(huán)境交互，使模型在 ReACT 范式下掌握基礎(chǔ)與外界環(huán)境交互能力。
• 長(zhǎng)程交互能力：在「功能一致」模擬環(huán)境中，讓 Agent 進(jìn)行長(zhǎng)程的環(huán)境交互，強(qiáng)化規(guī)劃能力與目標(biāo)一致性。

五、后訓(xùn)練持續(xù)進(jìn)化：

不只是「搜得多」，更要「搜得準(zhǔn)」

后訓(xùn)練采取 SFT + Agentic RL 雙階段增強(qiáng)：

• 在真實(shí)環(huán)境中交互，通過多重過濾獲取長(zhǎng)程高質(zhì)量軌跡，教會(huì)模型深度搜索行為。
• 在真實(shí)搜索環(huán)境中進(jìn)一步優(yōu)化策略，關(guān)鍵設(shè)計(jì)包括：
• 低成本驗(yàn)證：構(gòu)建「功能等價(jià)」的本地模擬環(huán)境，保持 API 一致、證據(jù)完備且含噪聲，加速實(shí)驗(yàn)迭代。
• 數(shù)據(jù)質(zhì)量保障：針對(duì)合成問題中存在的答案錯(cuò)誤、一題多解現(xiàn)象，采用 Agent-as-Verifier 對(duì)強(qiáng)化學(xué)習(xí)問題集進(jìn)行校驗(yàn)，避免數(shù)據(jù)污染影響訓(xùn)練穩(wěn)定性。

團(tuán)隊(duì)觀察到了效率與性能同步提升的現(xiàn)象：隨著訓(xùn)練進(jìn)行，模型的平均交互輪次不斷下降，但準(zhǔn)確率持續(xù)提升。這表明 REDSearcher 并非簡(jiǎn)單的「暴力搜索」，而是學(xué)會(huì)了更精準(zhǔn)的信息獲取策略，主動(dòng)減少無(wú)效調(diào)用，形成「越訓(xùn)越聰明」的良性循環(huán)。

六、實(shí)驗(yàn)結(jié)果

在多項(xiàng)深度搜索權(quán)威基準(zhǔn)上，REDSearcher 在開源模型中取得了優(yōu)異的表現(xiàn)：

• REDSearcher 在同規(guī)模開源模型中取得了 SoTA 水平，并且超過了 GPT-5-Thinking-high、Gemini-2.5-pro、Claude-4.5-sonnet 一眾閉源先進(jìn)模型（*為帶有上下文管理的性能）。
• REDSearcher-MM 在多模態(tài)搜索基準(zhǔn)中相比同規(guī)格模型取得了 SoTA 水平，并且性能超過 Gemini-2.5-pro，在部分基準(zhǔn)上取得了接近 Gemini-3-pro 的性能。

結(jié)語(yǔ)

REDSearcher 的核心在于系統(tǒng)性設(shè)計(jì)：從圖論角度定義深度搜索任務(wù)復(fù)雜度，以雙約束優(yōu)化可擴(kuò)展合成數(shù)據(jù)，以兩階段中間訓(xùn)練降低能力遷移成本，以高質(zhì)量軌跡合成結(jié)合強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)持續(xù)迭代。它提供了一條可復(fù)現(xiàn)、低成本的深度搜索智能體訓(xùn)練路徑，使 AI 系統(tǒng)從靜態(tài)知識(shí)查詢走向開放環(huán)境下的自主探索、驗(yàn)證與信息整合。

作者簡(jiǎn)介

初征，哈工大社會(huì)計(jì)算與信息檢索中心在讀博士生，由劉銘教授和秦兵教授共同指導(dǎo)，研究方向是智能體、大語(yǔ)言模型、復(fù)雜推理、深度搜索。

王梟，就職于小紅書 Hi Lab，負(fù)責(zé)Search Agent，主要關(guān)注長(zhǎng)程推理、智能體、數(shù)據(jù)合成、強(qiáng)化學(xué)習(xí)。

Jack Hong，小紅書 Hi Lab 團(tuán)隊(duì)算法實(shí)習(xí)生，主要研究方向是多模態(tài)大模型、Agent、計(jì)算機(jī)視覺等。