近日，Anthropic 發(fā)布了一篇引發(fā)廣泛關(guān)注的文章《When AI builds itself》。文中披露了極其驚人的內(nèi)部數(shù)據(jù)：截至 2026 年 5 月，Anthropic 超過 80% 的合并代碼已由 Claude 編寫，工程師的日常代碼產(chǎn)出飆升了 8 倍；更令人矚目的是，AI 智能體已經(jīng)可以自主提出假設(shè)、執(zhí)行長達(dá)數(shù)百小時(shí)的強(qiáng)化安全實(shí)驗(yàn)。

這說明 AI 已開始展現(xiàn)自主參與下一代模型設(shè)計(jì)與訓(xùn)練的潛力，而這種自我提升能力（Self-Improvement），正在成為下一代 AI 發(fā)展的關(guān)鍵驅(qū)動(dòng)力。

圖 1：大語言模型自我提升 (LLM Self-improvement) 的構(gòu)想：人類只需啟動(dòng)系統(tǒng)，模型便能夠持續(xù)改進(jìn)自身能力。

過去，探討大語言模型（LLMs）的下一步發(fā)展時(shí)，焦點(diǎn)往往局限于更大的參數(shù)規(guī)模、海量的數(shù)據(jù)喂養(yǎng)和極限的算力堆疊。

然而，傳統(tǒng)依賴人類監(jiān)督的訓(xùn)練范式正逐漸面臨瓶頸：高質(zhì)量人工標(biāo)注極其昂貴，專家反饋難以規(guī)模化；更致命的是，隨著模型能力的指數(shù)級(jí)攀升，在高等數(shù)學(xué)、復(fù)雜代碼生成和前沿科研推理等任務(wù)中，人類的認(rèn)知邊界，反而成了限制模型進(jìn)化的天花板。與此同時(shí)，隨著智能體技術(shù)的成熟，模型已展現(xiàn)出自主生成數(shù)據(jù)、調(diào)用工具和執(zhí)行代碼的強(qiáng)大自動(dòng)化能力。

這表明，當(dāng)前的大語言模型已具備主動(dòng)參與自身迭代的能力，無需再完全依賴人類的監(jiān)督。這一趨勢標(biāo)志著一種深刻的范式轉(zhuǎn)移：大語言模型的發(fā)展正從被動(dòng)接受人類微調(diào)與修正轉(zhuǎn)向自主探索與持續(xù)進(jìn)化。

為了解構(gòu)大語言模型自我提升的底層邏輯，填補(bǔ)系統(tǒng)性研究的空白，來自紐約州立大學(xué)石溪分校 Zesearch NLP Lab 的 Haoyan Yang、Jiawei Zhou 等人經(jīng)過將近一年的努力，最近發(fā)布了一篇 113 頁、涵蓋 500 余篇前沿文獻(xiàn)的關(guān)于大模型自我提升的全景綜述：

• 論文鏈接: https://arxiv.org/pdf/2603.25681
• GitHub Repo: https://github.com/Zesearch/self-improvement-llm
• 項(xiàng)目網(wǎng)站: https://zesearch.github.io/self-improvement-llm-website/

圖 2：LLM 自我提升系統(tǒng) (LLM Self-improvement system) 的閉環(huán)框架：數(shù)據(jù)獲取、數(shù)據(jù)篩選、模型優(yōu)化、推理細(xì)化與貫穿全程的自動(dòng)評(píng)估。

論文提出了「LLM 自我提升系統(tǒng)」（LLM Self-Improvement System）這一概念。

相比已有關(guān)于自我演化智能體 (Self-Evovling Agents) 的研究，這篇論文更加從模型自身能力出發(fā)，關(guān)注模型如何憑借內(nèi)在能力驅(qū)動(dòng)系統(tǒng)持續(xù)演化，并將過去分散在數(shù)據(jù)、訓(xùn)練、推理和評(píng)估中的方法，整合為一個(gè)由模型能力驅(qū)動(dòng)的系統(tǒng)級(jí)閉環(huán)生命周期。

在這個(gè)框架中，自我提升不再是單一算法，而是一套可持續(xù)運(yùn)轉(zhuǎn)的智能系統(tǒng)。論文圍繞一個(gè)核心問題展開：如何在不同階段利用模型自身能力，推動(dòng)持續(xù)且自主的改進(jìn)？

論文將自我提升系統(tǒng)概括為四個(gè)核心環(huán)節(jié)：數(shù)據(jù)獲?。―ata Acquisition）→ 數(shù)據(jù)篩選（Data Selection）→ 模型優(yōu)化（Model Optimization）→ 推理細(xì)化（Inference Refinement），并由自動(dòng)評(píng)估（Autonomous Evaluation）作為貫穿全程的控制層。每個(gè)環(huán)節(jié)都以模型的自動(dòng)化能力為核心，使模型能夠主動(dòng)獲取數(shù)據(jù)、篩選樣本、優(yōu)化自身，并在推理中反思改進(jìn)。

數(shù)據(jù)獲?。―ata Acquisition）

圖 3：數(shù)據(jù)獲取 (Data Acquisition) 的三種主要路徑：靜態(tài)篩選、環(huán)境交互與合成生成。

自我提升首先需要源源不斷的學(xué)習(xí)數(shù)據(jù)。論文將數(shù)據(jù)獲取分為三類：靜態(tài)篩選 （Static Curation）、環(huán)境交互（Environment Interaction）和合成生成（Synthetic Generation）。

靜態(tài)篩選是從已有語料中挖掘可學(xué)習(xí)樣本；環(huán)境交互讓模型通過與外部環(huán)境交互來主動(dòng)獲取數(shù)據(jù)；合成生成則進(jìn)一步讓模型自己構(gòu)造新的訓(xùn)練數(shù)據(jù)。隨著這三類方式遞進(jìn)，模型從使用已有數(shù)據(jù)走向主動(dòng)探索甚至是自主創(chuàng)造數(shù)據(jù)。

數(shù)據(jù)篩選（Data Selection）

圖 4：數(shù)據(jù)篩選（Data Selection）的兩類核心機(jī)制：模型引導(dǎo)評(píng)分與自適應(yīng)選擇。

在數(shù)據(jù)獲取之后，問題轉(zhuǎn)向數(shù)據(jù)篩選：重點(diǎn)變成當(dāng)已經(jīng)獲取到足夠的數(shù)據(jù)后，判斷哪些數(shù)據(jù)真正有價(jià)值。 低質(zhì)量、重復(fù)或錯(cuò)誤的數(shù)據(jù)可能放大偏差，甚至導(dǎo)致模型坍塌。因此，系統(tǒng)需要篩選出更有效的數(shù)據(jù)，進(jìn)入下一步訓(xùn)練。

論文將數(shù)據(jù)篩選方法分為兩類：第一類是模型引導(dǎo)評(píng)分（Model-Guided Scoring），即利用模型產(chǎn)生的信號(hào)對數(shù)據(jù)進(jìn)行打分和過濾，例如置信度、困惑度、梯度或損失函數(shù)；第二類是自適應(yīng)選擇（Adaptive Selection），即把數(shù)據(jù)篩選變成一個(gè)可學(xué)習(xí)的策略，根據(jù)模型能力和反饋動(dòng)態(tài)更新，選擇當(dāng)前最有價(jià)值的數(shù)據(jù)。

模型優(yōu)化（Model Optimization）

圖 5：模型優(yōu)化 (Model Optimization) 的 GRO 框架，通過生成、獎(jiǎng)勵(lì)與優(yōu)化循環(huán)推動(dòng)模型能力持續(xù)提升。

在數(shù)據(jù)經(jīng)過獲取和篩選之后，模型優(yōu)化階段負(fù)責(zé)將這些數(shù)據(jù)真正轉(zhuǎn)化為模型能力。

作者將這一過程總結(jié)為GRO 框架，即生成 — 獎(jiǎng)勵(lì) — 優(yōu)化（Generation–Reward–Optimization）：模型首先基于已有數(shù)據(jù)生成反映當(dāng)前能力的輸出，再利用獎(jiǎng)勵(lì)信號(hào)判斷其質(zhì)量，并通過訓(xùn)練更新自身參數(shù)，使模型在循環(huán)迭代中持續(xù)提升能力。

在這個(gè) GRO 循環(huán)中，生成（Generation）是起點(diǎn)：模型基于當(dāng)前能力產(chǎn)生答案、推理鏈等。論文將生成方式分為三類：自我探索（Self-Exploratory Generation）讓模型嘗試生成多種可能解；精煉生成（Refined Generation）讓模型在初始輸出上反思和修改；交互式生成（Interactive Generation）則通過工具、環(huán)境或外部反饋不斷調(diào)整生成過程。

隨后是獎(jiǎng)勵(lì)（Reward） 階段：系統(tǒng)對生成結(jié)果進(jìn)行自動(dòng)評(píng)估，判斷哪些輸出值得學(xué)習(xí)。獎(jiǎng)勵(lì)信號(hào)主要包括三類：啟發(fā)式獎(jiǎng)勵(lì)（Heuristic Reward） 依賴規(guī)則或簡單指標(biāo)，模型獎(jiǎng)勵(lì)（Model-based Reward） 由模型或獎(jiǎng)勵(lì)模型進(jìn)行打分，可驗(yàn)證獎(jiǎng)勵(lì)（Verifiable Reward） 則通過代碼執(zhí)行、答案匹配或形式化檢查等方式提供更可靠的反饋。

最后是優(yōu)化（Optimization） 階段：模型利用這些反饋更新自身參數(shù)。優(yōu)化方法可以分為三類：監(jiān)督微調(diào)（Supervised Fine-Tuning, SFT） 把高質(zhì)量輸出作為訓(xùn)練數(shù)據(jù)，強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL） 根據(jù)獎(jiǎng)勵(lì)信號(hào)直接優(yōu)化模型行為，混合優(yōu)化（Hybrid Optimization） 則結(jié)合 SFT 和 RL：先用高質(zhì)量數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，再通過獎(jiǎng)勵(lì)信號(hào)進(jìn)一步強(qiáng)化模型表現(xiàn)。

此外，作者還總結(jié)了三種常見的模型優(yōu)化范式，它們可以看作 GRO 框架在具體方法中的不同實(shí)例：迭代拒絕采樣（Iterative Rejection Sampling）、自我驗(yàn)證與精煉（Self-Verification and Self-Refinement），以及自我對弈（Self-Play）。

在迭代拒絕采樣中，模型先生成多個(gè)候選答案，再通過規(guī)則或模型打分篩選高質(zhì)量樣本，最后將這些樣本用于監(jiān)督微調(diào)。自我驗(yàn)證與精煉則先生成初始答案，再進(jìn)行自我檢查與修改，最后利用改進(jìn)后的答案進(jìn)行監(jiān)督微調(diào)，或?qū)⑿薷那昂蟮拇鸢笜?gòu)造成偏好對進(jìn)行偏好優(yōu)化，從而提升模型能力。自我對弈通過模型自身或多個(gè)模型之間的競爭與協(xié)作生成更具挑戰(zhàn)性的樣本，并借助勝負(fù)、偏好或驗(yàn)證信號(hào)更新模型。

推理細(xì)化（Inference Refinement）

圖 6：推理細(xì)化 (Inference Refinement) 的四類方法：解碼策略、推理式增強(qiáng)、智能體系統(tǒng)增強(qiáng)與測試時(shí)訓(xùn)練。

在模型優(yōu)化之后，自我提升系統(tǒng)還需要考慮另一個(gè)問題：模型能力如何在實(shí)際推理過程中被進(jìn)一步提升。

模型優(yōu)化關(guān)注的是通過訓(xùn)練更新參數(shù)，而推理細(xì)化（Inference Refinement）關(guān)注的是：在參數(shù)不一定永久改變的情況下，如何讓模型在回答問題時(shí)更好地搜索、反思、調(diào)用工具并修正自身輸出。

論文將推理細(xì)化歸納為四類方法。第一類是解碼策略（Decoding Strategies），通過采樣、樹搜索、logit 調(diào)整和效率優(yōu)化等方式，引導(dǎo)模型生成更可靠的答案。第二類是推理式增強(qiáng)（Reasoning-based Improvement），讓模型在生成過程中加入執(zhí)行、反饋、反思和協(xié)作推理，從而不斷修正中間步驟。第三類是智能體系統(tǒng)增強(qiáng)（Agentic System-based Improvement），通過提示詞、工具、記憶模塊和工作流，把模型放入更完整的任務(wù)系統(tǒng)中提升表現(xiàn)。第四類是測試時(shí)訓(xùn)練（Test-Time Training），即模型在面對具體問題時(shí)，利用當(dāng)前任務(wù)產(chǎn)生的反饋進(jìn)行臨時(shí)更新，再生成最終答案。

這部分的核心意義在于，它把自我提升擴(kuò)展到推理過程，使系統(tǒng)不僅依賴訓(xùn)練后的參數(shù)更新，也能在具體任務(wù)中實(shí)現(xiàn)動(dòng)態(tài)改進(jìn)。這也是當(dāng)前「自我演化智能體」研究最關(guān)注的方向之一：智能體如何在運(yùn)行時(shí)通過規(guī)劃、反思、工具調(diào)用和環(huán)境交互，不斷調(diào)整自身行為并提升任務(wù)完成能力。

自動(dòng)評(píng)估（Autonomous Evaluation）

圖 7：自動(dòng)評(píng)估（Autonomous Evaluation）通過動(dòng)態(tài)基準(zhǔn)和交互環(huán)境評(píng)估，持續(xù)監(jiān)控自我提升系統(tǒng)的真實(shí)進(jìn)步。

除了上述四個(gè)環(huán)節(jié)，自我提升系統(tǒng)還需要一個(gè)貫穿全程的控制層：自動(dòng)評(píng)估（Autonomous Evaluation）。如果缺少評(píng)估，系統(tǒng)就無法判斷自身改進(jìn)是否真實(shí)有效。作者認(rèn)為，評(píng)估過程不應(yīng)只依賴人工檢查或固定測試集，而應(yīng)能夠隨著模型迭代自動(dòng)更新并提供反饋。

為此，論文強(qiáng)調(diào)兩類方法：動(dòng)態(tài)基準(zhǔn)（Dynamic Benchmarking）可以持續(xù)生成或更新測試任務(wù)，避免靜態(tài)基準(zhǔn)失效；交互環(huán)境評(píng)估（Interactive Environment Evaluation）則讓模型在真實(shí)或模擬環(huán)境中完成任務(wù)，并根據(jù)環(huán)境反饋?zhàn)詣?dòng)判斷表現(xiàn)。

通過這種方式，評(píng)估不再是閉環(huán)末端的一次性打分，而是持續(xù)指導(dǎo)系統(tǒng)改進(jìn)的反饋機(jī)制。

風(fēng)險(xiǎn)、應(yīng)用與未來（Application, Challenge and Future Outlook）

圖 8：自我提升系統(tǒng)的六大挑戰(zhàn)：數(shù)據(jù)自噬、反饋信號(hào)缺陷、優(yōu)化驅(qū)動(dòng)失敗、無效自我精煉、評(píng)估瓶頸和監(jiān)督瓶頸。

自我提升系統(tǒng)具有巨大潛力，但也面臨一系列挑戰(zhàn)。作者一共總結(jié)了六個(gè)關(guān)鍵問題：模型反復(fù)學(xué)習(xí)自身生成的數(shù)據(jù)，可能帶來數(shù)據(jù)自噬（Data Autophagy）；錯(cuò)誤或有偏的反饋會(huì)造成反饋信號(hào)缺陷（Flawed Feedback Signals）；訓(xùn)練和優(yōu)化過程可能出現(xiàn)優(yōu)化驅(qū)動(dòng)失?。∣ptimization-Driven Failures）；推理階段的自我精煉有時(shí)只是表面修改，形成無效自我精煉（Ineffective Self-Refinement）；此外，評(píng)估瓶頸（Evaluation Bottlenecks）和監(jiān)督瓶頸（Supervision Bottlenecks）也會(huì)限制系統(tǒng)的可靠發(fā)展。

圖 9：自我提升系統(tǒng)的六大應(yīng)用場景：代碼、數(shù)學(xué)、醫(yī)療、金融、算法發(fā)現(xiàn)和科學(xué)研究。

與此同時(shí)，作者總結(jié)了自我提升系統(tǒng)的六大應(yīng)用場景，包括代碼（Code）、數(shù)學(xué)（Math）、醫(yī)療（Medicine）、金融（Finance）、算法發(fā)現(xiàn)（Algorithm）和科學(xué)研究（Science）。這些領(lǐng)域中已經(jīng)出現(xiàn)了不少自我提升的應(yīng)用案例，展現(xiàn)著這一方向的實(shí)際價(jià)值。

面向未來，作者提出了自我提升研究的四大方向：

• 第一，從模型級(jí)優(yōu)化走向端到端自我提升系統(tǒng)（End-to-End Self-Improving Systems）；
• 第二，發(fā)展面向應(yīng)用的專用自我提升模型（Application-Centric Self-Improved Models）；
• 第三，建立統(tǒng)一基準(zhǔn)與自主評(píng)估（Unified Benchmarks and Autonomous Evaluation），衡量模型是否真的在持續(xù)進(jìn)步；
• 第四，在自動(dòng)化與人類監(jiān)督之間取得平衡（Balancing Automation and Human Oversight），確保系統(tǒng)既能自主進(jìn)化，又保持安全和可控。

總體來看，這篇論文把自我提升從一組分散的技術(shù)方法，提升為一個(gè)以模型為主體的系統(tǒng)級(jí)閉環(huán)框架，通過數(shù)據(jù)、訓(xùn)練、推理和評(píng)估等環(huán)節(jié)的協(xié)同，使大模型從一次性訓(xùn)練的產(chǎn)物，逐步走向能夠持續(xù)成長的閉環(huán)智能系統(tǒng)。

當(dāng)人類不再總能繼續(xù)教模型時(shí)，誰來推動(dòng)模型進(jìn)步？答案或許是模型自己。

作者介紹

第一作者： Haoyan Yang，紐約州立大學(xué)石溪分校計(jì)算機(jī)科學(xué)博士生。

個(gè)人主頁：https://joyyang158.github.io/haoyan-yang/

其他作者：Mario Xerri、Solha Park、Huajian Zhang、Yiyang Feng、Sai Akhil Kogilathota，來自紐約州立大學(xué)石溪分校計(jì)算機(jī)科學(xué)系以及數(shù)據(jù)科學(xué)項(xiàng)目

通訊作者： Jiawei Zhou，紐約州立大學(xué)石溪分校計(jì)算機(jī)科學(xué)系、數(shù)據(jù)科學(xué)項(xiàng)目、應(yīng)用數(shù)學(xué)與統(tǒng)計(jì)系助理教授。

個(gè)人主頁：https://joezhouai.com