導(dǎo)語(yǔ)

大語(yǔ)言模型（LLMs）的最新進(jìn)展激發(fā)了人們對(duì)能夠解決復(fù)雜現(xiàn)實(shí)任務(wù)的AI智能體日益增長(zhǎng)的興趣。然而，大多數(shù)現(xiàn)有的智能體系統(tǒng)依賴于手動(dòng)設(shè)計(jì)的配置，這些配置在部署后保持靜態(tài)，限制了它們適應(yīng)動(dòng)態(tài)和演進(jìn)環(huán)境的能力。為了解決這一局限性，最近的研究探索了旨在根據(jù)交互數(shù)據(jù)和環(huán)境反饋?zhàn)詣?dòng)增強(qiáng)智能體系統(tǒng)的智能體進(jìn)化技術(shù)，這一新興方向?yàn)樽晕疫M(jìn)化AI智能體奠定了基礎(chǔ)。在這篇綜述中，文章首先提出了一個(gè)統(tǒng)一的概念框架，抽象了自我進(jìn)化智能體系統(tǒng)設(shè)計(jì)背后的反饋循環(huán)。具體而言，我們首先提出了一個(gè)統(tǒng)一的概念框架，抽象了自我進(jìn)化智能體系統(tǒng)設(shè)計(jì)背后的反饋循環(huán)。該框架突出了四個(gè)關(guān)鍵組件：系統(tǒng)輸入、智能體系統(tǒng)、環(huán)境和優(yōu)化器，為理解和比較不同策略奠定了基礎(chǔ)。 基于這一框架，我們系統(tǒng)地回顧了針對(duì)智能體系統(tǒng)不同組件的廣泛自我進(jìn)化技術(shù)，包括基礎(chǔ)模型、智能體提示詞、記憶、工具、工作流以及智能體間的通信機(jī)制。本綜述旨在為研究人員和從業(yè)者提供對(duì)自我進(jìn)化AI智能體的系統(tǒng)理解，為開發(fā)更具適應(yīng)性、自主性和終身性的智能體系統(tǒng)奠定基礎(chǔ)。

關(guān)鍵詞：自我進(jìn)化AI智能體（Self-Evolving AI Agents）、基礎(chǔ)模型（Foundation Models）、終身學(xué)習(xí)（Lifelong Learning）、多智能體系統(tǒng)（Multi-Agent Systems）、自主優(yōu)化（Autonomous Optimization）

面博士丨作者

論文題目：A Comprehensive Survey of Self-Evolving AI Agents 論文地址：https://arxiv.org/abs/2508.07407 發(fā)表時(shí)間：2025年8月 發(fā)表期刊：arXiv

如果AI不再僅僅是“被動(dòng)響應(yīng)”，

而是能夠“自我成長(zhǎng)”？

在人工智能的發(fā)展史中，我們是否已經(jīng)觸及了靜態(tài)模型的天花板？ 想象一個(gè)場(chǎng)景：你部署了一個(gè)精密的科研助理智能體，它在上線之初表現(xiàn)完美，但當(dāng)全新的科研算法發(fā)布、或是實(shí)驗(yàn)工具庫(kù)更新時(shí)，它卻因?yàn)楣袒倪壿嫸兊檬譄o(wú)策，必須等待人類專家進(jìn)行繁瑣的手動(dòng)重構(gòu)。 這種“部署即巔峰、隨后即落后”的尷尬局面，正是當(dāng)前大模型應(yīng)用面臨的核心瓶頸：我們的系統(tǒng)是早熟且靜態(tài)的，而現(xiàn)實(shí)世界卻是動(dòng)態(tài)且不斷演化的。 那么，我們能否創(chuàng)造出一種像生物一樣，能夠在交互中學(xué)習(xí)、在反饋中進(jìn)化、甚至能夠自主制造工具的智能系統(tǒng)？ 這一設(shè)想正隨著“自我進(jìn)化AI智能體”研究的興起而逐漸變?yōu)楝F(xiàn)實(shí)。

范式遷移：

從離線預(yù)訓(xùn)練到多智能體自主演進(jìn)的四個(gè)階段

要理解自我進(jìn)化AI智能體（Self-Evolving AI Agents）的深遠(yuǎn)意義，必須將其置于大語(yǔ)言模型發(fā)展的宏大背景中。研究者指出，智能系統(tǒng)的演進(jìn)正經(jīng)歷著一場(chǎng)從“凍結(jié)狀態(tài)”到“完全自主”的范式變遷，這一過程可以清晰地劃分為四個(gè)階段。

第一階段是模型離線預(yù)訓(xùn)練（Model Offline Pretraining, MOP），這是所有智能系統(tǒng)的基石。在這個(gè)階段，模型在大規(guī)模靜態(tài)語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練，隨后以一種固定、凍結(jié)的狀態(tài)被部署。這意味著模型一旦離開訓(xùn)練實(shí)驗(yàn)室，其知識(shí)和能力便不再更新。

第二階段是模型在線適配（Model Online Adaptation, MOA）。為了彌補(bǔ)離線預(yù)訓(xùn)練的局限，這一階段引入了部署后的適配技術(shù)，如監(jiān)督微調(diào)、低秩適配（LoRA）或人類反饋強(qiáng)化學(xué)習(xí)（RLHF）。通過標(biāo)簽、評(píng)分或指令提示，基礎(chǔ)模型可以進(jìn)行更新，以更好地符合特定任務(wù)或人類偏好，但這依然主要集中在參數(shù)層面的微調(diào)。

第三階段是多智能體編排（Multi-Agent Orchestration, MAO）。隨著任務(wù)復(fù)雜度的提升，單一模型已難以為繼，研究界開始協(xié)調(diào)多個(gè)智能體通過消息交換或辯論提示進(jìn)行協(xié)作。雖然這一階段解決了復(fù)雜任務(wù)的拆解與執(zhí)行，但智能體之間的協(xié)作模式、通信協(xié)議和工具鏈依然是人為預(yù)設(shè)且固定的。

第四階段，也是目前最前沿的階段，即多智能體自我進(jìn)化（Multi-Agent Self-Evolving, MASE）。這是真正意義上的“終身演進(jìn)”范式，它引入了一個(gè)閉環(huán)系統(tǒng)，使得智能體群體能夠根據(jù)環(huán)境反饋和元獎(jiǎng)勵(lì)，持續(xù)且自主地精煉其提示詞、記憶結(jié)構(gòu)、工具使用策略，甚至是智能體之間的交互拓?fù)浣Y(jié)構(gòu)。這標(biāo)志著人工智能正從一個(gè)“黑盒工具”轉(zhuǎn)變?yōu)橐粋€(gè)具備長(zhǎng)效生命力的“數(shù)字化生命體”。

圖 1 ：以大語(yǔ)言模型（LLM）為中心的學(xué)習(xí)正從單純從靜態(tài)數(shù)據(jù)中學(xué)習(xí)，演變?yōu)榕c動(dòng)態(tài)環(huán)境交互，并最終通過多智能體協(xié)作和自我進(jìn)化走向終身學(xué)習(xí)

3. 進(jìn)化法則：生存、卓越與演進(jìn)的交織

為了確保這種自主進(jìn)化的過程既高效又可控，研究者從阿西莫夫的機(jī)器人定律中汲取靈感，提出了自我進(jìn)化AI智能體的“三大定律”。首先是生存定律（Endure），它要求智能體在任何自我修改過程中必須首要保持安全性與穩(wěn)定性。其次是卓越定律（Excel），即在滿足安全的前提下，系統(tǒng)必須保持或增強(qiáng)其現(xiàn)有的任務(wù)性能，不能因?yàn)檫M(jìn)化而產(chǎn)生能力倒退。最后是進(jìn)化定律（Evolve），它鼓勵(lì)智能體在遵循前兩條準(zhǔn)則的基礎(chǔ)上，能夠積極響應(yīng)環(huán)境變化，自主優(yōu)化其內(nèi)部的所有組件。這三大法則構(gòu)成了一個(gè)層級(jí)化的約束體系，為邁向真正意義上的強(qiáng)人工智能提供了倫理與技術(shù)的雙重保障。

圖 2：AI智能體進(jìn)化和優(yōu)化技術(shù)的視覺分類法，分為三個(gè)主要方向：?jiǎn)沃悄荏w優(yōu)化、多智能體優(yōu)化和特定領(lǐng)域優(yōu)化。樹狀結(jié)構(gòu)展示了這些方法從2023年到2025年的發(fā)展情況，包括各分支中的代表性方法。

4. 統(tǒng)一概念框架：構(gòu)建智能成長(zhǎng)的閉環(huán)邏輯

為了系統(tǒng)化地推進(jìn)這一研究方向，研究者提出了一個(gè)高度抽象且具普適性的統(tǒng)一概念框架。該框架將復(fù)雜的演化過程解構(gòu)為四個(gè)相互作用的核心組件：系統(tǒng)輸入、智能體系統(tǒng)、環(huán)境以及優(yōu)化器。

圖 3 ：智能體系統(tǒng)中自我進(jìn)化過程的概念框架。該過程形成了一個(gè)由四個(gè)組件組成的迭代優(yōu)化循環(huán)：系統(tǒng)輸入（System Inputs）、智能體系統(tǒng)（Agent System）、環(huán)境（Environment）和優(yōu)化器（Optimiser）。系統(tǒng)輸入定義任務(wù)設(shè)置（如任務(wù)級(jí)或?qū)嵗?jí)）；智能體系統(tǒng)（以單體或多體形式）執(zhí)行任務(wù)；環(huán)境根據(jù)不同場(chǎng)景通過代理指標(biāo)提供反饋；優(yōu)化器則通過定義的搜索空間和優(yōu)化算法更新系統(tǒng)，直到達(dá)成性能目標(biāo)。

整個(gè)進(jìn)化的循環(huán)始于系統(tǒng)輸入，它為演化定義了邊界。這些輸入可以是宏觀的任務(wù)描述，也可以是微維的具體實(shí)例。隨后，智能體系統(tǒng)——無(wú)論是單體還是多體結(jié)構(gòu)——在特定的環(huán)境中執(zhí)行任務(wù)。環(huán)境不僅是智能體運(yùn)行的舞臺(tái)，更是反饋的源頭。它通過預(yù)定義的度量指標(biāo)或基于大模型的評(píng)估器，產(chǎn)生衡量系統(tǒng)效能的反饋信號(hào)。

在這一閉環(huán)邏輯中，優(yōu)化器扮演著類似“進(jìn)化引擎”的核心角色。它由搜索空間和優(yōu)化算法共同驅(qū)動(dòng)。搜索空間決定了智能體系統(tǒng)中哪些部分是可以被“變異”和“篩選”的，其粒度涵蓋了微觀的提示詞、記憶管理策略，直至宏觀的系統(tǒng)架構(gòu)。而優(yōu)化算法則決定了探索這一空間的方法，涵蓋了基于規(guī)則的啟發(fā)式搜索、文本梯度下降、以及復(fù)雜的強(qiáng)化學(xué)習(xí)策略。這種“執(zhí)行-評(píng)估-優(yōu)化”的迭代循環(huán)，使得系統(tǒng)能夠像生物進(jìn)化一樣，通過優(yōu)勝劣汰，最終收斂于解決復(fù)雜問題的最優(yōu)構(gòu)型。

5. 自我進(jìn)化智能體的優(yōu)化范式：

單體、多體與領(lǐng)域化策略

5.1 單智能體優(yōu)化：深度精煉決策引擎的核心能力

在自我進(jìn)化的塔基，單體智能體的優(yōu)化直接決定了整個(gè)系統(tǒng)的決策深度。優(yōu)化的重心主要集中在基礎(chǔ)模型行為、提示詞、記憶機(jī)制以及工具調(diào)用這四個(gè)關(guān)鍵維度。

在基礎(chǔ)模型行為優(yōu)化層面，研究者正致力于增強(qiáng)模型的推理與規(guī)劃能力。除了利用監(jiān)督微調(diào)讓模型模仿高質(zhì)量的推理軌跡，強(qiáng)化學(xué)習(xí)被廣泛用于將推理視為序列決策過程。通過自我博弈或偏好學(xué)習(xí)，模型可以在無(wú)外部標(biāo)簽的情況下實(shí)現(xiàn)零數(shù)據(jù)進(jìn)化。此外，測(cè)試時(shí)計(jì)算（Test-Time Compute）技術(shù)的興起為智能體提供了“思考更久”的機(jī)會(huì)。它允許模型在推理階段利用蒙特卡洛樹搜索（MCTS）等算法進(jìn)行深度思考，從而在不改變模型參數(shù)的情況下顯著提升復(fù)雜邏輯問題的解決質(zhì)量。

提示詞優(yōu)化則針對(duì)大模型對(duì)輸入指令的高度敏感性展開。除了傳統(tǒng)的基于編輯的局部搜索，前沿研究引入了“文本梯度”技術(shù)。它模仿了神經(jīng)網(wǎng)絡(luò)的自動(dòng)微分思想，將自然語(yǔ)言反饋視為一種語(yǔ)義梯度，引導(dǎo)提示詞向著更準(zhǔn)確、更穩(wěn)健的方向演進(jìn)。與此同時(shí)，記憶優(yōu)化解決了長(zhǎng)程任務(wù)中的遺忘難題。短期記憶側(cè)重于信息的智能壓縮，而長(zhǎng)期記憶則利用檢索增強(qiáng)生成（RAG）技術(shù)，構(gòu)建起可跨會(huì)話更新的外部知識(shí)庫(kù)。最后，在工具優(yōu)化領(lǐng)域，智能體不僅學(xué)習(xí)如何更高效地調(diào)用接口，更開始探索自主“制造工具”，即根據(jù)需求編寫代碼并封裝為新武器。

5.2 多智能體系統(tǒng)：從手動(dòng)編排到拓?fù)浼軜?gòu)的自動(dòng)演化

當(dāng)任務(wù)復(fù)雜度超越單體極限時(shí)，多智能體系統(tǒng)的協(xié)同進(jìn)化展現(xiàn)出了超越個(gè)體的力量。這一領(lǐng)域的演進(jìn)邏輯正經(jīng)歷從“手動(dòng)設(shè)計(jì)協(xié)作流”到“自動(dòng)發(fā)現(xiàn)協(xié)作拓?fù)洹钡纳羁套兏?。傳統(tǒng)的并行流、層級(jí)流或辯論機(jī)制雖然經(jīng)典，但在多變環(huán)境下往往顯得僵化。

現(xiàn)代自我進(jìn)化系統(tǒng)將多智能體協(xié)作視為一個(gè)關(guān)于拓?fù)浣Y(jié)構(gòu)、角色定義和基礎(chǔ)模型能力的綜合搜索問題。在拓?fù)鋬?yōu)化方面，研究者開辟了兩條路徑：一是代碼級(jí)工作流優(yōu)化將交互邏輯視為可執(zhí)行程序，利用進(jìn)化算法在程序空間內(nèi)搜索最高效的邏輯鏈條；二是通信圖拓?fù)鋬?yōu)化則通過動(dòng)態(tài)調(diào)整智能體間的連接概率，剔除冗余和高風(fēng)險(xiǎn)的通信環(huán)節(jié)。更進(jìn)一步的“統(tǒng)一優(yōu)化”路徑認(rèn)為提示詞與拓?fù)浣Y(jié)構(gòu)是深度交織的整體，只有同步演進(jìn)才能激發(fā)系統(tǒng)的最大潛能。此外，針對(duì)模型背后的基礎(chǔ)模型進(jìn)行協(xié)作導(dǎo)向的強(qiáng)化訓(xùn)練，能夠顯著增強(qiáng)智能體作為團(tuán)隊(duì)成員的溝通質(zhì)量。

圖 4：多智能體系統(tǒng)優(yōu)化方法概覽，左側(cè)展示了核心優(yōu)化要素（空間、方法和目標(biāo)），右側(cè)展示了優(yōu)化維度（提示詞、拓?fù)浣Y(jié)構(gòu)、統(tǒng)一優(yōu)化及LLM骨干網(wǎng)絡(luò)）。

自我進(jìn)化的通用邏輯必須在特定領(lǐng)域的深水區(qū)得到驗(yàn)證。在生物醫(yī)學(xué)領(lǐng)域，智能體進(jìn)化側(cè)重于模擬真實(shí)的臨床診療環(huán)境，通過多輪問診補(bǔ)全信息，或利用化學(xué)分析工具進(jìn)行分子發(fā)現(xiàn)中的符號(hào)推理。在編程領(lǐng)域，優(yōu)化的核心在于代碼的自我精煉與自愈調(diào)試，智能體通過執(zhí)行反饋信號(hào)定位故障并自主修復(fù)。金融與法律領(lǐng)域則要求極致的規(guī)則遵循。金融智能體需要適應(yīng)瞬息萬(wàn)變的動(dòng)態(tài)市場(chǎng)，通過博弈平衡收益；法律智能體則通過模擬法庭辯論，在結(jié)構(gòu)化的思維鏈指引下，確保輸出符合司法準(zhǔn)則。這些實(shí)踐表明，自我進(jìn)化并非盲目變異，而是在專業(yè)知識(shí)指引下的精準(zhǔn)適配。

6. 總體評(píng)估、安全性與未來(lái)展望

隨著演進(jìn)能力的增強(qiáng)，傳統(tǒng)的靜態(tài)評(píng)估體系已逐漸過時(shí)。評(píng)估不再是任務(wù)結(jié)束后的簡(jiǎn)單打分，而是演化成了指導(dǎo)進(jìn)化的動(dòng)態(tài)反饋機(jī)制。除了日益真實(shí)的基準(zhǔn)測(cè)試，利用強(qiáng)模型擔(dān)任裁判（LLM-as-a-Judge）或讓具備推理能力的智能體評(píng)價(jià)其他智能體（Agent-as-a-Judge）已成為主流。這種方式能夠捕捉推理軌跡中的細(xì)微偏差，提供高頻率、低成本的反饋。

然而，進(jìn)化的力量也帶來(lái)了前所未有的安全挑戰(zhàn)。由于演進(jìn)路徑具有不可預(yù)測(cè)性，如何確保智能體在追求性能的同時(shí)，始終遵循生存定律和倫理邊界，是目前研究的重中之重。展望未來(lái)，自我進(jìn)化AI智能體將在更開放、更具交互性的模擬平臺(tái)中進(jìn)行全方位的演進(jìn)。它們將不再是單純的任務(wù)執(zhí)行者，而是能夠持續(xù)學(xué)習(xí)、自主制造工具、并根據(jù)需求重構(gòu)自身拓?fù)涞膭?dòng)態(tài)生態(tài)參與者。一個(gè)高度適應(yīng)、自主進(jìn)化且持久存在的智能時(shí)代正加速到來(lái)，引領(lǐng)我們通往真正意義上的強(qiáng)人工智能。

參考文獻(xiàn)

• Zelikman, Eric, Yuhuai Wu, Jesse Mu, and Noah Goodman. 2022. “STaR: Bootstrapping Reasoning with Reasoning.” Advances in Neural Information Processing Systems, vol. 35, pages 15476–15488.

• Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, and Denny Zhou. 2022. “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” Advances in Neural Information Processing Systems.

• Yao, Shunyu, Dian Yu, Jeffrey Zhao, Izhak Shafran, Tom Griffiths, Yuan Cao, and Karthik Narasimhan. 2023. “Tree of Thoughts: Deliberate Problem Solving with Large Language Models.” Advances in Neural Information Processing Systems, vol. 36, pages 11809–11822.

• Guo, Daya, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, et al. 2025. “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.” arXiv preprint arXiv:2501.12948. https://arxiv.org/abs/2501.12948.

• Ye, Rui, Shuo Tang, Rui Ge, Yaxin Du, Zhenfei Yin, Siheng Chen, and Jing Shao. 2025. “MAS-GPT: Training LLMs to Build LLM-Based Multi-Agent Systems.” arXiv preprint arXiv:2503.03686. https://arxiv.org/abs/2503.03686.

「大模型時(shí)代下的Agent建模與仿真」讀書會(huì)

集智俱樂部聯(lián)合山東工商學(xué)院副教授高德華、天津大學(xué)教授薛霄、北京師范大學(xué)教授張江、國(guó)防科技大學(xué)博士研究生曾利共同發(fā)起。讀書會(huì)自2025年7月8日開始，每周二晚上7:30-9:30進(jìn)行，現(xiàn)讀書會(huì)已結(jié)束，支持查看課程回放。掃碼加入Agent建模與仿真的前沿探索之旅，一起共學(xué)、共創(chuàng)、共建、共享「大模型時(shí)代下的Agent建模與仿真」社區(qū)，共同暢想大模型時(shí)代人工社會(huì)的未來(lái)圖景！

核心問題

Agent建模與仿真是什么，核心技術(shù)發(fā)生了怎樣的演變？

大模型時(shí)代，Agent建模與仿真會(huì)給復(fù)雜系統(tǒng)理論帶來(lái)哪些突破？

大模型如何賦能Agent實(shí)現(xiàn)自主思考與動(dòng)態(tài)適應(yīng)？

大模型驅(qū)動(dòng)的Agent交互會(huì)涌現(xiàn)出什么新型的社會(huì)現(xiàn)象？

Agent建模與仿真如何改變金融、心理、管理、軍事等領(lǐng)域的研究范式？

你將收獲

梳理Agent建模與仿真的歷史發(fā)展脈絡(luò)與方法論；

掌握一套理解、分析、控制、預(yù)測(cè)復(fù)雜系統(tǒng)的計(jì)算實(shí)驗(yàn)框架；

掌握基于多主體強(qiáng)化學(xué)習(xí)的復(fù)雜系統(tǒng)優(yōu)化方法；

領(lǐng)略領(lǐng)域前沿學(xué)者的研究體系與科研路徑。

詳情請(qǐng)見：

1.

2.

3.

4.

5.

6.

7.

8.