本文属于类型a，即单一原创研究报告，以下为针对该研究的学术报告。

研究作者与发表信息

本文由来自微软亚洲研究院、北京大学、南京大学以及芝加哥大学的科研人员合作完成。主要作者包括李其政、张一飞、杨潇、杨旭、王卓、刘卫青及卞江。通讯作者为微软亚洲研究院的刘卫青。该论文发表于第43届国际机器学习大会（ICML 2026），收录于PMLR第306卷。研究团队同时公开了代码实现，地址为 https://github.com/microsoft/rd-agent。

研究背景与目的

大语言模型（Large Language Models, LLMs）虽然在通用能力上取得了显著进展，但在化学、法律、金融等垂直领域的实际部署中，通常需要针对特定领域进行微调（Fine-tuning）才能满足可靠性与性能标准。当前，微调过程仍然高度依赖人工，领域专家与机器学习工程师必须协作完成数据整理、训练配置、模型诊断与迭代优化。尽管自主机器学习与智能体（Agent）研究日益受到关注，但端到端的LLM微调尚未被系统性地定义为一个可交互的智能体任务。

现有机器学习工程（Machine Learning Engineering, MLE）基准，如MLE-bench与DSBench，主要评估智能体在数据预处理、特征工程和模型训练方面的能力，但它们假定数据是固定的，并不要求智能体从原始异构数据源中自行构建训练数据。而LLM微调面临两个独特挑战：其一，数据需要“构建”而非仅仅“处理”，智能体必须从多样的原始来源中筛选、清洗并可能借助LLM API合成数据；其二，分析信号远超聚合指标，还需解读训练动态、验证曲线和抽样输出以诊断能力缺陷。针对这一空白，本研究提出FT-Dojo——首个用于评估自主LLM微调智能体的交互式基准环境，并设计了面向微调任务的智能体框架FT-Agent。

研究方法与工作流程

FT-Dojo将自主LLM微调建模为智能体与环境的迭代交互过程。每个任务的形式化定义为：给定任务规格τ、包含异构原始数据的数据仓库D以及评估函数f，智能体必须自主产出微调模型m。智能体需要完成三个核心步骤：选择并处理数据子集d以生成训练实例；配置训练超参数θt；根据评估反馈f(t)迭代改进。优化目标是最大化在留出基准上的任务特定评估分数。

FT-Dojo的体系架构采用模块化设计，每个任务在沙箱化Docker容器中执行，以保证可复现性与安全性。智能体与三个核心接口交互：元API接口（Meta API, I）以统一方式提供任务规格、系统能力、数据描述和API文档；数据仓库（Data Repository, D）是跨任务聚合的共享异构原始数据池；评估器（Evaluator, F）基于OpenCompass构建，返回结构化反馈，包括聚合指标分数、逐实例预测及正确性标签、训练损失轨迹。

FT-Dojo包含13个任务，横跨5个领域：数学（AIME 2025）、专利审查（Prior Art Retrieval、Novelty Classification、Paragraph Identification）、化学（Molecular Understanding、Molecule Editing、Molecule Optimization、Reaction Prediction）、金融（Financial QA）以及表格问答（Data Analysis、Fact Checking、Numerical Reasoning、Visualization）。评估采用两阶段协议：每个基准在上下文长度过滤后被划分为数量为n_val=n_test=min(100, ⌊n/2⌋)的非重叠验证集与测试集；验证集在优化期间可访问以获取反馈，测试集仅在最终评估时开放。训练数据上限设定为每任务最多2000个样本的超参级资源预算。

FT-Agent被设计为三阶段迭代循环。第一阶段为策略提议（Strategy Proposal）：智能体基于任务规格、历史迭代摘要、结构化评估信号和当前系统状态，生成统一假设，联合覆盖高层数据策略与高层训练配置，并给出将提议变更与观察到的失败模式相联系的推理说明。第二阶段为实现与快速失败验证（Implementation & Fail-fast Validation）：在允许完整训练之前，通过三级递增成本的验证——静态与模式验证、数据格式检查与小规模运行验证、运行时健全性检测——预先拦截配置错误、数据管道故障和训练不稳定。第三阶段为结构化反馈聚合与专家引导诊断（Structured Feedback Aggregation and Expert-guided Diagnosis）：智能体分析整体领域指标、逐实例错误标签、损失曲线和抽样失败案例，识别过拟合、欠拟合、领域不匹配、噪声敏感性和系统推理问题，并据此协调数据扩展与训练设置调整。

实验在单张NVIDIA B200 GPU上进行，每任务有严格的12小时端到端墙钟预算，目标基座模型为Qwen2.5-7B-Instruct，限制为标准监督微调（Supervised Fine-tuning, SFT）或LoRA，最大2000个训练样本。FT-Agent使用GPT-5.2作为交互基座，并分别使用GPT-5和GPT-4o-mini进行数据清洗与合成。FT-Agent以三个独立初始化的种子运行3次，报告均值±标准差。

主要研究结果

在13个任务中，FT-Agent在其中10个任务上取得最优性能，建立了FT-Dojo上强有力的初始自主基线。多轮运行统计表明，尽管存在随机变化，主要定性结论依然成立，化学反应的相似度指标方差较大。

最为显著的结果出现在AIME 2025数学任务上。由于82%的原始训练样本缺乏解答和思维链（Chain-of-Thought, CoT），基座模型、工具增强的OpenHands以及受约束的人工SFT基线均获得0%准确率。FT-Agent在三次运行中平均达到11.11%，说明智能体能够识别推理监督缺失这一瓶颈，并在固定预算下合成有用的训练轨迹。在需要可执行代码生成和严格结构约束的任务中，FT-Agent也表现突出：在表格问答可视化任务上，其Pass@1达到29.33%，优于OpenHands的24.00%；在化学分子编辑任务上，FT-Agent达到54.44%准确率，明显超过OpenHands的40.00%。

在探索效率方面，FT-Agent平均完成8.77个循环，相对于OpenHands的3.69个循环，探索深度更高；改进率24.37%也高于OpenHands的17.31%，而迭代成本仅为5.73美元，对浅层探索停滞的任务反映了合理的权衡。

五个代表性任务的受控比较表明，FT-Agent配GPT-5.2基座在平均分上超越所有自主系统以及LLM辅助的人工SFT参考。相比同为GPT-5.2驱动的OpenHands与Codex，FT-Agent依然胜出，说明瓶颈不仅在于代码生成质量，更在于数据质量诊断与多级反馈理解。开源基座变体也保持了竞争力，DeepSeek-V3.2平均分超过OpenHands且接近Codex。

消融研究揭示了三个关键结论。第一，将训练样本从2000扩展到5000仅在模式密集型任务上有收益，在可视化任务上反而因压缩了策略迭代窗口而退化，2000的预算在数据覆盖与探索深度之间达到更好平衡。第二，将规划基座替换为GPT-4o或开源模型后，框架仍可迁移，但高层编排质量对导航优化空间仍至关重要。第三，FT-Agent在3B目标模型上同样能解锁显著提升，如在分子编辑上提升40%、可视化上提升16%，显示其在测试的目标模型规模之间具备可迁移能力。

案例研究揭示了认知机制的双重性。在分子编辑任务上，智能体从2%初始灾难性失败（由词汇损坏导致）中通过历史记忆逐步自我改进：修正数据格式不对齐、引入RDKit验证以过滤无效SMILES、修正训练步骤不足并对齐操作分布，最终将准确率提升到56%。而在专利段落识别任务上，智能体面对停滞时采用“霰弹式调试”（Shotgun Debugging），不加区分地应用NEFTune等泛化技术而没有因果诊断，未基于机理的干预导致剧烈波动（降至8%），最终净收益为零。

研究结论与价值

本研究的首要贡献是FT-Dojo，即首个面向端到端LLM微调的交互式基准环境。不同于静态数据集的简单汇总，FT-Dojo标准化了任务接口、共享原始数据仓库、沙箱化执行环境、结构化反馈协议和留出评估流程，使数据策略与训练配置共同成为可优化的目标。第二大贡献是FT-Agent框架，其三项针对性机制——结构化迭代规划、快速失败验证与多级反馈分析——帮助智能体避开基础工程陷阱、聚焦高层决策，从而更好地揭示底层LLM的算法能力。

科学价值上，该研究将数据构建与训练配置的联合迭代优化形式化为可复现的智能体任务，为评估和比较自主微调能力提供了标准化平台。应用价值上，FT-Dojo和FT-Agent均有潜力降低将LLM适配到特定领域的门槛。然而，研究也揭示出关键边界：智能体虽能通过经验积累实现恢复与改进，但仍在因果诊断与长期规划上存在根本局限。这些发现为未来研究指明了方向，包括开放世界数据源获取与更强推理机制的开发。同时，降低微调成本也可能带来被滥用于敏感领域内容生成的风险，作者鼓励未来在类似基准中纳入以安全为导向的评估准则。