本文档是一篇发表于《Transactions on Machine Learning Research》（2026年1月）的学术综述论文。由来自普林斯顿大学、清华大学、卡内基梅隆大学、上海交通大学、宾夕法尼亚州立大学、伊利诺伊大学厄巴纳-香槟分校等众多知名研究机构的学者合作完成。论文的标题是“A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence”。这篇综述首次对“自进化智能体”（Self-Evolving Agents）这一新兴且快速发展的研究领域进行了系统而全面的梳理与审视。

论文主题与核心动机 论文的核心主题是“自进化智能体”。作者指出，尽管大型语言模型（Large Language Models, LLMs）在各种任务上展现出卓越能力，但其本质是静态的，其内部参数无法适应新任务、不断演变的知识领域或动态的交互环境。随着LLMs越来越多地被部署在开放、交互式的环境中，这种静态特性已成为一个关键瓶颈。因此，亟需能够实时适应性地推理、行动和进化的智能体。这一从“扩展静态模型”到“开发自进化智能体”的范式转变，激发了学术界对支持从数据、交互和经验中进行持续学习与适应的架构和方法的广泛兴趣。

本文的核心动机在于填补现有研究的空白。作者指出，虽然已有一些关于智能体进化的讨论，但它们往往只是作为更广泛的智能体分类中的一个子部分，或是专注于特定的组件（如工具或提示词），缺乏对自进化智能体作为一个“头等研究范式”的全面、系统性考察。因此，本文旨在建立一个统一的框架，回答三个根本性问题：进化什么（What）、何时进化（When）、以及如何进化（How），并以此为基础，进一步探讨在何处进化（Where）以及如何评估自进化智能体。

主要观点与论述框架 论文围绕一个核心分类法（Taxonomy）展开，将自进化智能体的研究分解为四个维度，并据此构建了全文的论述结构。

第一个核心维度：进化什么（What to Evolve） 这部分探讨了智能体系统中哪些组件可以成为自主进化的“位点”。作者将智能体系统形式化为一个由架构、模型、上下文（提示词与记忆）和工具集构成的整体。然后详细分析了这四个核心支柱的进化机制： 1. 模型（Models）进化：智能体可以自主更新其底层语言模型的参数。主要分为两种方式：(a) 策略进化：通过自我挑战生成任务-解决方案对，或利用执行轨迹和反馈（如文本反馈或标量奖励）作为监督信号，通过监督微调（Supervised Fine-Tuning， SFT）或强化学习（Reinforcement Learning， RL）来更新模型权重。代表性工作包括SCA、SELF、TextGrad等。(b) 经验进化：通过与环境的主动交互甚至构造环境来获取经验，并将这些经验转化为学习信号。例如，通过自我反思（Reflexion）记录自然语言评论，或通过自适应规划（AdaPlanner）根据环境反馈实时调整策略。这体现了智能体从被动学习到主动探索的转变。 2. 上下文（Context）进化：这包括提示词（Prompt）优化和记忆（Memory）演化。(a) 记忆演化：智能体能够动态地存储、检索、合并、更新甚至遗忘过去交互中的信息，形成长期、结构化的经验库。高级的记忆系统不仅存储具体实例，还能从中提炼出通用的启发式规则、技能或工作流，从而将一次性经验转化为长期能力。代表性工作包括Mem0、ExpEL、Agent Workflow Memory等。(b) 提示词优化：将提供给模型的指令文本本身视为可优化的参数。方法从早期基于搜索和评分的进化方法（如APE、PromptBreeder），发展到将整个多步骤工作流视为可微程序、通过“文本梯度”（TextGrad）进行端到端优化的先进框架。这使智能体能够自主改进其行为指引。 3. 工具（Tools）进化：智能体从工具的使用者进化为工具的创造者和管理者。进化过程分为三个阶段：(a) 自主发现与创建：当遇到现有工具集无法解决的任务时，智能体能够自主编写代码创建新工具（如Voyager、Creator）。(b) 通过迭代精炼掌握工具：新创建的工具往往不完善，智能体通过分析执行反馈（如错误信息、环境状态变化）进行自我调试和精炼，提升工具的鲁棒性和可用性（如LearnAct）。© 规模化管理与选择：当工具库规模庞大时，智能体需要高效的检索和组合机制。例如，将工具编码为模型词汇表中的特殊标记（ToolGen），或使用专门的记忆来记录工具的特性和适用场景（ToolMem）。这形成了一个“感知能力缺口 -> 创建工具 -> 掌握工具 -> 集成管理”的良性循环。 4. 架构（Architecture）进化：指智能体系统整体的组织结构和协作方式的优化。(a) 单智能体系统优化：既包括在固定拓扑结构下优化内部各个LLM调用节点（如TextGrad的反向传播式优化），也包括对智能体高层架构设计的自动化搜索（如AgentSquare），甚至允许智能体直接修改自身的源代码（如Darwin Gödel Machine）。(b) 多智能体系统优化：聚焦于多个自主智能体之间的协作结构。这又分为两个方面：一是优化显式的工作流拓扑，即智能体之间的通信和任务委派结构，通常通过搜索（如MCTS）或学习（如RL训练一个元智能体）来自动发现最优配置（如AFlow、FlowReasoner）。二是优化隐式的内部策略协同，即通过多智能体强化学习（Multi-Agent Reinforcement Learning， MARL）让智能体在交互中共同进化其行为策略，涌现出协调、分工等群体能力（如ReMA、GigPO）。

第二个核心维度：何时进化（When to Evolve） 这部分根据进化过程与任务执行的时间关系进行分类： 1. 测试时内进化（Intra-Test-Time Evolution）：进化发生在单个任务执行过程中。智能体在解决当前问题时，实时识别自身局限并启动适应性机制。例如，通过情境学习（In-Context Learning， ICL）在上下文窗口中保留自我反思以指导后续步骤（Reflexion）；或进行极速的测试时微调，针对当前任务生成少量合成数据并快速更新部分权重。其特点是学习与任务解决紧密耦合，目标是立即提升当前任务的性能。 2. 测试间进化（Inter-Test-Time Evolution）：进化发生在任务执行之间。智能体完成一个（或一批）任务后，基于积累的经验和反馈进行离线学习，以提升未来任务的性能。这包括了主流的监督微调（如通过自我批评生成高质量训练数据的SELF、STaR）和强化学习（如在模拟环境中进行大规模策略优化的RAGen、WebRL）。其特点是学习与具体任务解耦，允许进行更复杂、耗时的计算，目标是获得跨任务的泛化能力提升。

第三个核心维度：如何进化（How to Evolve） 这部分聚焦于驱动进化的具体算法和机制。论文将其归纳为三大范式： 1. 基于奖励的进化（Reward-Based Evolution）：核心是利用各种形式的奖励信号来引导进化。奖励信号来源多样：(a) 文本反馈：来自环境、用户或自我反思的自然语言评价（如Reflexion）。(b) 内部奖励：模型自身的不确定性、自信度或自我评估分数（如SRSI）。© 外部奖励：来自环境的标量奖励信号（如游戏分数、任务完成度）。(d) 隐式奖励：来自于任务本身固有的目标或信息增益。这些奖励信号被用于ICL、SFT或RL等学习范式。 2. 模仿与示范学习（Imitation & Demonstration Learning）：通过模仿高质量的行为示范来进行进化。示范可以来自人类专家，也可以由智能体自己生成。例如，STaR方法让模型为最初答错的问题生成事后解释（理由化），并将“问题-正确答案-解释”三元组作为新的训练数据。 3. 基于群体的进化方法（Population-Based & Evolutionary Methods）：受生物进化论启发，维护一个智能体（或策略、组件）的群体，通过变异、交叉和选择等操作，让适应度高的个体存活并繁衍，从而推动整个群体的进化。这既可用于单智能体内部组件的优化，也可用于多智能体团队的构成演化（如EvoMAC）。

第四个核心维度及其他重要内容 论文还简要探讨了“在何处进化（Where to Evolve）”，即自进化智能体的应用领域，包括通用领域（如操作系统、课程学习）和专用领域（如代码生成、图形用户界面操作、金融、医疗、教育等）。 此外，论文专设章节讨论了评估指标与基准测试。作者强调，由于自进化智能体具有动态和持续学习的特性，传统的静态评估基准已不充分，需要开发能够衡量适应性、稳健性、长期性能以及“共同进化”（即评估标准本身随智能体进化而演变）的新评估体系。 在最后，论文指出了该领域面临的关键挑战与未来研究方向，包括安全性问题（尤其是工具自主创建带来的风险）、个性化、多智能体共同进化、可扩展性，以及最终通向人工超智能（Artificial Super Intelligence， ASI）道路上的理论和技术障碍。

论文的意义与价值 这篇综述具有重要的学术价值和实践指导意义。 1. 开创性与系统性：作为该领域的首次系统性综述，它成功地将散乱、快速涌现的研究工作整合到一个清晰、统一的“What-When-How-Where”框架下，为研究者提供了一个理解、比较和设计自进化智能体的结构化蓝图。 2. 理论框架的建立：论文不仅进行了分类整理，还给出了自进化智能体的形式化定义，明确了其与课程学习、终身学习、模型编辑等相关范式的区别与联系，有助于厘清概念边界，推动领域的规范化发展。 3. 前瞻性的路线图：论文将自进化智能体置于从静态大语言模型到基础智能体，再通往人工超智能的演进路径中，强调了其作为关键中间范式的核心地位。所识别的挑战和方向为后续研究指明了重点。 4. 跨学科与实践桥梁：论文涵盖了从算法机制到架构设计，从理论分析到实际应用的广泛内容，对人工智能、机器学习、软件工程、人机交互等多个领域的研究者和工程师都具有很高的参考价值，有助于加速自进化智能体从理论研究走向现实世界部署的进程。

总而言之，这篇论文是一份及时而深入的领域指南，它不仅梳理了过去几年的重要进展，更重要的是为未来探索更具适应性、能力更强、更鲁棒和更通用的智能体系统奠定了坚实的概念基础，并勾勒出了通向更高级人工智能的进化路径。