作者：Shilong Liu，Postdoc Princeton
https://lsl.zone/blog/2026/a-taxonomy-of-self-evolving-agents/
自进化 Agent（Self-evolving agents）正变得越来越流行。
Hermes Agent 支持自动生成可复用的 skill。RSI Lab 尝试递归地发现新算法。NVIDIA 正在探索机器人领域的 Agent 式自进化。Auto-research agents 旨在通过自进化实现科学发现。越来越多的论文也在设计自进化算法，包括强化学习（RL）和无训练方法。
它们都使用相似的词汇：self-evolving、self-improving、learning、adapting。但它们指的是同一件事吗？我们应该如何将这些工作分类到不同方向？它们与"self-improving agents"、"recursive self-improvement"、"continual learning"和"test-time training"等相关术语有什么区别？
在这篇博客中，我通过回答这些问题，为 self-evolving agents 提供了一个分类体系。
模型（Models）、Harness 和 Artifacts
模型（Models）、Harness 和 Artifacts 是自进化系统中的三个关键要素。
模型（通常是大型语言模型 LLM）是大脑，用于响应提示。Harness 包括循环设计、记忆、工具和其他周边组件，它将模型转变为 Agent。因此有一个著名的等式：
Artifacts 较少被提及。我用"artifact"一词指代 Agent 产生的输出，例如 Agent 发现的内核算法，自动研究者产出的论文和发现，或机器人自进化系统产生的新机器人策略。
三者之间的联系很简单：模型和 Harness 共同构成 Agent，Agent 进而产生 Artifacts。这三个术语为我们组织自进化系统提供了一个有用的框架。
基于这个视角，现有的自进化系统可以分为三个层次：Artifacts 迭代优化、Harness 自改进 和 无黄金答案的模型学习。
一、Artifacts 迭代优化
最近这波自进化 Agent 浪潮，主要由 Artifacts 迭代优化推动。其动机很简单：利用强大的 LLM 为复杂优化问题创建新的 Artifacts。
AlphaEvolve 利用编码 Agent 进行科学和算法发现。在这个分类中，发现的算法就是 Artifacts。随后出现了几个自动研究系统。
其中一个代表性事件是 Analemma AI 的 FARS，运行了 417 小时，产出了 166 篇完全由 AI 生成的论文，成本约 18 万美元。Recursive Superintelligence 也发现了更好的 GPU 内核算法。
Artifacts 迭代优化系统概念上并不复杂。人类设定目标和评估标准，然后 Agent 反复寻找改进点，产生新输出，并检查是否符合标准。如果符合，过程结束；否则循环继续。上图中的 AlphaEvolve 流程就是一个例子。
读者可能已经熟悉这种模式，因为 Codex、Claude Code 和 OpenClaw 等工具都遵循类似行为。
这个想法很直观，当然也不新鲜。改变的是 LLM（尤其是编码模型）让这个循环变得更加灵活。
在 LLM 主导之前，研究者通常手工设计算子或动作，然后在这些算子上设计搜索或优化方法。神经架构搜索就是一个很好的例子。EfficientNet 定义了可能的网络算子搜索空间，然后搜索更好的网络设计。这类工作在许多任务上取得了成功，有时甚至超越了人类设计的算法。
LLM 带来的改变是，模型本身可以同时充当算子和优化器。它可以发明新的候选方案，检查之前的结果，并决定下一步搜索方向。这使其成为强大的搜索工具。我们获得了更大的搜索空间和更好的启发式搜索器。
另一个趋势是LLM 在长时序任务上变得更强。因此，改进-验证循环可以更有效地运行。就在 2024 年（两年前），像 LLaVA-Plus 这样的早期工作只能进行少于 5 次工具调用，需要频繁的人类干预。
但现在，Agent 可以运行数小时而几乎不需要人类干预。随着更强大的大模型，这个循环对加速工程和科学发现变得非常有用。
目前大多数 Agent 在数字环境中运行：代码库、浏览器、模拟器、终端和其他软件系统。因此，大多数探索仍局限于虚拟环境。更雄心勃勃的方向是现实世界。
NVIDIA 让 Agent 通过 Agent 式循环控制机器人来发现新的机器人策略。LabOS 将 Agent 与生物实验室连接进行实验。Qumus 构建了一个量子材料实验员。展望未来，我们应该期待更多在物理世界中进行 Artifacts 迭代优化的工作。
世界就是 Agent 的舞台。
二、Agent Harness 自改进
几乎与 Artifacts 迭代优化同时，Agent Harness 自改进在研究中流行起来。动机不同：模型训练成本高昂，因此一个自然的问题是，我们是否可以在不更新模型权重的情况下，在部署后改进 Agent。
答案似乎是肯定的。优秀的研究者倾向于对每个有价值的问题先说"是"，至少先给出一个演示。探索的两个主要解决方案是：提示/记忆层面，以及工具/skill 层面。
提示学习和记忆
我们可以记住一些问题和答案，以便以后回答相同的问题。我中学时就这样做过。但记忆泛化能力差，在类似但不同的任务上表现不佳。更好的解决方案是提取有用的规则，并存储在 Agent 可以复用的地方。
虽然有些方法名字里带有"learning"，但它们并不调整模型权重。但如果我们把 Harness 视为 Agent 的一部分，那么对 Harness 的更新（如提示更新）就应该被视为类似参数更新的操作。因此，将它们称为"learning"方法并无不妥。
这是 Agent Harness 自改进与 Artifacts 迭代优化的另一个关键区别。在这里，Agent 修改自己的组件（如提示和记忆），而 Artifacts 迭代优化关注的是优化输出而非 Agent 本身。
工具和 skill 创建
但文本信息并不总是足够。例如，如果 Agent 需要理解一段长视频并找到关键帧，仅靠记忆可能会变得冗余。要提取关键帧，Agent 需要的是可执行的工具或 skill。因此，一个直接的想法是创建可复用的工具（如 Alita）或 skill（如 Mem-UI），这样 Agent 每次遇到相同问题时都能重复使用。
工具以代码形式编码，Agent 可以直接生成它们。skill 可以视为围绕工具的高级包装。生成后，这些工具或 skill 会被添加到 Agent 中，Agent 下次就可以复用它们解决类似问题。
skill 也可以视为另一种上下文管理方式。它们减少了上下文长度，因为 Agent 不再需要把每个细节都塞进上下文窗口。上下文很重要。
skill 已成为当下流行的解决方案。Claude Code 已将 skill 形式化，并成为现代 Agent 的事实标准组件。Claude Code 可以创建和使用 skill，Codex 和 OpenClaw 也是如此。另一个热门仓库 Hermes Agent 也突出了自动 skill 创建。
与提示学习和记忆类似，这需要 Agent 修改自身，因为工具和 skill 属于 Harness。
走向多 Agent 自进化
前面的解决方案很优雅，但难以在单个 Agent 内扩展。随着剧本增长、工具和 skill 增多，系统会变得不可靠且低效。如果用户只关心股票相关问题，他们不需要烹饪工具。在系统中保留无关工具只会让 Agent 变慢，有时还会更困惑。这种困惑也可能是语义上的：如果向同一个 Agent 注入太多烹饪知识，Agent 可能不知道"squeeze"指的是股市还是橙子。
为此，任务专家变得有用。有时一个烹饪 Agent 和一个股票 Agent 比一个试图同时处理两个领域的 Agent 更好。这就引出了多 Agent 自进化解决方案。我们之前的工作 Eevee 观察到，当数据来自非常不同的来源或分布时，单个 Agent 会受到限制。
因此提出使用多个专家 Agent 处理不同任务，由路由器将每个任务分配给合适的专家。同样，我们发现为 Agent 配备一组生成的工具来构建专家，在某些专业领域非常有用，如 Alita-G。
我们也可以将多 Agent 系统视为上下文管理的扩展，因为每个专家只需携带对其自身任务有用的上下文。上下文很重要。
对于多 Agent 解决方案，关键瓶颈是如何找到合适的 Agent，即路由问题。一个关键发现是，在大多数情况下路由并非简单问题。它需要更强的基础模型才能获得良好性能，如 routing 所示。从这个意义上说，人类专家最有价值的能力之一也是路由。我们将任务交给 Agent，并决定它们是否应该进入下一步。
人类就是一个路由器。
三、无黄金答案的模型学习
这是第三个方向。与 Artifacts 优化和 Harness 自改进相比，这个方向直接更新模型本身。该领域的许多工作可能从未自称"自进化 Agent"。
它们通常出现在自训练（Self-Training）、弱监督（Weak Supervision）、自博弈（Self-Play）、强化学习（RL）、测试时训练（TTT）、在线学习（Online Learning）或持续学习（Continual Learning）等名称下。
关键区别在于学习会改变模型权重。问题是如何在没有黄金答案、只有问题、弱信号或可选环境访问的情况下实现模型更新。目标与自进化 Agent 类似，但解决方案截然不同。
伪真值或内部信号
如果没有黄金答案，一个选项是从数据本身构建伪真值（如 self-training），或使用内部信号（如 TTRL）。
这些信号随后可用于模型训练。如果将伪标签视为目标，我们可以使用监督微调（SFT）。如果信号可以转化为奖励，我们可以使用 RL，如 DeepSeek-R1。
例如，假设有一个问题：图片中有多少个苹果？虽然我们没有真值，但预训练模型仍可能比随机猜测给出更好的估计。假设图片中有 5 个苹果，模型可能对"4、5、6 个苹果"的答案更有信心，这些就是内部信号。这些信号不是完美的标签，但仍是有用的信息。
自博弈和来自环境的弱信号
学习信号也可以来自模型外部。有些例子使用自博弈进行学习，如 SPIN 和 Absolute Zero。其他通过与环境交互学习，如 Agent Learning via Early Experience。我将它们归为一类，因为另一个玩家也可以视为环境的一部分。
有一个简单的日常例子：如果你约别人出去玩却没有收到回复，这仍然给你提供了信息。即使环境没有响应，也是一个弱信号。
测试时训练（TTT）用于模型架构
测试时训练（TTT） 是一个特例。我把它列在这里是因为它试图解决类似问题，但方式非常不同。它从未自称自进化。可能的原因是它有个更花哨的名字。
这是一系列工作。该方向表明，某些序列模型可以在推理过程中被解释为执行某种基于梯度的更新。从这个意义上说，模型可以视为在推理过程中持续更新一个矩阵。我推荐阅读这篇 DeltaNet 博客。
与持续学习的联系
持续学习（Continual Learning，在某些语境中也称为在线学习或终身学习）可以追溯到 LLM 时代之前。经典场景是视觉识别：假设我们训练了一个模型识别轿车，现在想让它识别 SUV。
简单方案是在 SUV 图像上微调模型，但这可能会损害它对原有轿车图像的识别能力。如何避免灾难性遗忘（Catastrophic Forgetting）就成为关键问题。很难说这个问题是否已完全解决。最有效的解决方案之一（或许是唯一有效的）仍然是在 SUV 上微调时重放一些轿车样本。
然而，同一个术语在不同时期可能有完全不同的含义。"多模态"学习就是一个好例子。
- 2017 年左右，它常指图像描述工作（如 Bottom-Up and Top-Down Attention）；
- 2021 年左右，常指 CLIP 类模型；
- 2023 年，用于 GPT-4V 等视觉-语言模型；
- 到 2025 年，它还涵盖了同时处理图像理解和生成的统一模型。
- 同样，今天 LLM 讨论中的"持续学习"往往更接近自进化 Agent，而非早期的灾难性遗忘设置。
人类和术语都会随着时间而改变。
四、模糊的边界
模型、Harness 和 Artifacts 进化之间的边界正在变得模糊。当我们优化内核算法时，目标是 Artifact。但为了让搜索更有效，我们可能还需要改进 Agent 自身的设计，如提示、工具、记忆或搜索策略。
同样，Agent 的知识受限于模型的预训练。一旦 Harness 达到极限，更新模型参数就成为自然的下一步。一些最近工作如 SIA 已经探索了这个方向。
展望未来，我认为自进化系统中的每个模块都应该一起改进。
看待 AI 工具进步的一个有用方式是抽象。几年前，我们自己写每一行代码。后来我们让 ChatGPT 写代码片段。再后来 Copilot 帮助写函数和文件。今天，编码 Agent 可以处理整个项目。优化目标从单词，变成了片段、文件，现在是整个项目。我们不断将更多项组合在一起，给它们一个新的抽象，并在更高层次思考。
自进化 Agent 系统也应该发生同样的事情。模型、Harness 和 Artifact 不应永远被视为孤立的组件。一旦系统足够强大，自然的方向就是将它们作为一个统一的进化系统一起改进。
五、面向现实世界
自进化 Agent 最令人期待的部分，是它们改进 Agent 系统自身之外事物的能力。
更好的提示有用。更好的记忆有用。更好的工具有用。更好的模型也有用。但自进化的最终价值，仍应以它是否帮助我们构建更好的事物来衡量：更快的内核、更强的软件、新的科学假设、新材料，以及更好的机器人行为。
这就是我用模型、Harness 和 Artifact 来组织这个领域的原因。它们描述了进化可以发生的三个地方：
- 模型可以从弱信号中学习；
- Harness 可以更新其记忆、提示、工具和 skill；
- Artifact 可以被 Agent 迭代优化。
这三个层次是通往同一个更大系统的不同入口点。
在早期系统中，这些循环通常单独出现。有些工作保持模型固定而改进 Harness；有些保持 Agent 固定而改进 Artifact；有些用自生成或弱反馈训练模型。
在未来的系统中，它们很可能会共同成长。更强的模型帮助构建更好的 Harness；更好的 Harness 加速 Artifact 搜索；更好的 Artifact 为模型学习创造新的数据和反馈。
自进化 Agent 的想法在过去以不同名称出现过多次：递归自我改进、持续学习、在线学习、自动发现、测试时适应。名称改变是因为可用系统改变了。今天我们有了大模型、工具使用 Agent、并行执行、更丰富的环境和更有用的验证信号。
与其争论名称，我觉得更有用的是问三个简单的问题：
1、 什么在进化？
2、 什么反馈驱动它？
3、 循环在哪里闭合？
如果循环在基准测试上闭合，我们得到更强的基准求解器；如果在代码上闭合，我们得到更好的软件；如果在科学和工程上闭合，我们可能得到更好的发现；如果在物理世界上闭合，Agent 可能成为构建和改进真实系统的新方式。
世界仍然是最难的环境。它也是自进化 Agent 最重要发挥作用的地方。