关于“DS-Agent: 赋能大语言模型通过基于案例的推理实现自动化数据科学”的学术报告
本文档为类型a，是一篇报告原创性研究的学术论文。以下将据此撰写详细报告。
第一、 研究作者、机构与发表情况
本研究的主要作者包括Siyuan Guo、Cheng Deng、Ying Wen、Hechang Chen、Yi Chang和Jun Wang。作者单位涵盖吉林大学人工智能学院、吉林大学知识驱动人机智能工程技术研究中心、吉林大学未来科学国际中心、上海交通大学以及伦敦大学学院。通讯作者为Hechang Chen、Yi Chang和Jun Wang。
这项研究以标题“ds-agent: automated data science by empowering large language models with case-based reasoning”发表在第41届国际机器学习大会（Proceedings of the 41st International Conference on Machine Learning, Vienna, Austria. PMLR 235）的会议论文集中，于2024年出版。
第二、 研究学术背景
本研究的主要科学领域属于人工智能下的交叉方向，具体涉及大语言模型、智能体、自动化机器学习以及基于案例的推理。
研究动机与背景知识： 近年来，以GPT系列为代表的大语言模型展现了强大的基础能力，催生了一系列能够自主执行复杂任务的语言智能体。在此背景下，自动化数据科学成为一个极具前景且开放性的决策场景，其核心目标是以自然语言为交互界面，让系统能自动理解任务需求、构建并训练最优的机器学习模型，从而降低数据科学任务的技术门槛。然而，现有研究（如Huang等人，2023）指出，即便是基于最强大语言模型GPT-4构建的智能体（如AutoGPT、LangChain、ResearchAgent），在数据科学场景下也难以达成高任务完成率。其主要障碍在于LLM难以生成合理的实验计划（例如选择何种模型架构、超参数等），并且存在“幻觉”问题。一种潜在的解决方案是对LLM进行微调以对齐数据科学领域，但这面临高质量标注样本获取成本高、计算资源消耗巨大等挑战。
与此同时，Kaggle作为全球最大的数据科学竞赛平台，积累了海量由专业数据科学家贡献的技术报告和代码，构成了一个宝贵的专家知识库。如何高效、低成本地利用这些知识来增强LLM智能体的数据科学能力，成为一个关键问题。研究者们注意到基于案例的推理（Case-Based Reasoning, CBR）这一经典人工智能范式。CBR通过“检索-重用-评估-修正-保留”的循环，利用过去相似问题的解决方案来解决新问题。将CBR与LLM智能体结合，有望使智能体能够：1）从Kaggle的专家知识中检索并复用有效的解决方案模式；2）基于代码执行的反馈迭代修正实验计划；3）通过保留成功案例实现免参数更新的灵活学习机制。
研究目标： 基于以上背景，本研究旨在提出一个名为DS-Agent的新型框架，通过融合LLM智能体与CBR范式，实现高效、可靠且低成本的自动化数据科学任务处理。具体目标包括：在开发阶段实现高成功率的模型构建与迭代优化；在部署阶段实现低资源消耗的快速代码生成；并验证该框架在不同类型LLM（包括闭源和开源模型）上的有效性。
第三、 详细研究流程与方法
DS-Agent框架的核心创新在于其分阶段的运作模式：标准开发阶段和低资源部署阶段。这两个阶段共享一个核心思想，即利用CBR的“检索-重用”机制，但在具体实现和资源消耗上有所不同。研究涉及的对象主要是30个公开的数据科学任务，涵盖了文本、时间序列和表格三种数据模态，以及回归和分类两种基本任务类型。其中12个任务用于开发阶段，18个任务用于部署阶段。
1. 开发阶段：构建基于CBR的自动迭代流水线
开发阶段的目标是模拟数据科学家的工作流程，为一个新任务迭代地设计、构建、训练和验证机器学习模型。该阶段的流水线严格遵循CBR框架，具体包含以下步骤：
人类洞察案例库构建： 首先，研究团队从Kaggle平台上选取了近期完成的多个竞赛，针对文本、时间序列和表格三种模态进行案例收集。他们爬取了优胜团队的技术报告和公开排行榜上高分代码。对于技术报告，进行文本清理以保留核心洞察；对于代码，则使用GPT-3.5进行总结，将其转化为文本形式的解决方案洞察。这些处理后的材料被存储到人类洞察案例库中，作为LLM智能体的专家知识来源。
步骤一：检索： 给定一个新的数据科学任务描述τ，系统使用一个预训练的嵌入模型计算τ与案例库中每个案例c的余弦相似度。检索出相似度最高的前k个案例（研究中k=5）。
步骤二：修正与重排序： 这是一个关键步骤，旨在动态调整检索结果。由于直接基于执行反馈微调检索器成本高昂，研究者设计了一个重排序修正器。它将上一步检索到的k个案例（每个附有唯一标识符如[1], [2]）连同任务描述τ以及上一次迭代的执行反馈lt-1（初始为空）一起输入给LLM。LLM的任务是评估这些案例对于当前任务（基于已知的反馈）的“效用”，并输出一个新的排序（例如[2]>[1]>[3]）。这使得系统能根据前一轮实验的成败，智能地调整用于下一轮重用的核心案例。
步骤三：重用： 规划器接收任务描述τ、上一轮的反馈lt-1以及重排序后排名第一的案例ct。规划器分析ct中包含的人类洞察（例如模型架构选择、特征工程技巧、训练策略等），并结合当前任务的具体情况进行适应，生成一个新的实验计划yt。该计划详细说明了本轮将尝试的机器学习模型设计。
步骤四：执行： 程序员根据任务描述和实验计划，生成可执行的Python代码。代码随后在独立的工作空间中运行。如果运行中报错，调试器会被调用，它基于执行反馈反思可能的bug，生成修正后的代码并重新执行，直至无错误或达到预设的最大调试次数。最后，记录器生成一份包含实验进展和结果的详细日志，作为本轮的执行反馈lt。
步骤五：保留： 每轮迭代结束时，用训练好的模型在测试集上进行预测。如果性能有所提升，系统将当前的任务描述τ和最终成功的Python脚本s作为一个新的解决方案案例，同时存入人类洞察案例库和智能体案例库中，供未来重用。
修正循环： 完成“保留”步骤后，流程返回“修正与重排序”步骤，形成迭代循环。这个循环允许DS-Agent基于最新的执行反馈，不断调整检索的案例并修订实验计划，从而持续优化模型设计。循环在达到预设的最大迭代次数（研究中使用5次）后终止。
整个开发阶段的工作流程可以形式化地表示为基于CBR的LLM解决方案分布，它通过结合检索器、重排序修正器和LLM规划器，实现了在反馈驱动下的迭代式问题求解。
2. 部署阶段：基于过去成功案例的低成本代码生成
部署阶段面向低资源消耗的实际应用场景。此时，用户仅提供一个任务描述，期望系统直接生成一个能一次性成功运行并训练出有效模型的Python代码，而无需进行耗时的迭代修正。
该阶段采用了简化的CBR范式： * 检索： 给定部署任务τ，系统从智能体案例库B中检索出任务描述最相似的过去成功案例对（τ0， s0）。智能体案例库B是在开发阶段积累的、由DS-Agent自身产生的成功解决方案。 * 重用与适配： 适配器接收检索到的示例任务描述τ0、其解决方案代码s0，以及当前任务描述τ。适配器的任务不是从头规划，而是复用s0的代码结构和模式，并对其进行微小的修改以适配τ的具体要求（例如更换数据集加载路径、调整目标变量等），从而直接生成针对当前任务的解决方案代码s。
这种简化范式极大地降低了对LLM基础能力（如复杂规划、代码生成）的要求，因为LLM只需要在已有成功代码的上下文基础上进行局部适配即可。
第四、 主要研究结果
实验在两个阶段分别对DS-Agent进行了全面评估，基线模型包括ResearchAgent（当前最先进的AI研究智能体）以及零样本/单样本提示策略。评估指标包括任务完成率（开发阶段的成功率和部署阶段的一次通过率）、构建模型的性能排名（平均排名和最佳排名）以及资源消耗（以美元计费的API调用成本）。
1. 开发阶段结果： * 成功率： 如图4所示，在12个开发任务上，基于GPT-4的DS-Agent取得了100%的成功率，即在所有任务的所有五次重复试验中都能成功构建出无错误的模型。值得注意的是，基于GPT-3.5的DS-Agent在所有任务类型上的成功率均超越了基于GPT-4的ResearchAgent，凸显了DS-Agent框架的有效性。 * 模型性能： 如表1所示，基于任务特定评估指标（如RMSE, Accuracy）的性能排名上，基于GPT-4的DS-Agent在平均排名和最佳排名上均显著优于所有其他智能体。具体而言，它在12个任务中的9个取得了最佳性能。基于GPT-3.5的DS-Agent也取得了第二好的平均结果，甚至在多数任务上超越了基于GPT-4的ResearchAgent。 * 迭代改进： 图1(b)展示了随着迭代步骤增加，DS-Agent（基于GPT-3.5和GPT-4）在所有任务上的平均最佳性能排名持续提升，这直接验证了CBR反馈循环驱动下自动迭代流水线的有效性。
2. 部署阶段结果： * 一次通过率： 如图5所示，在18个部署任务上，基于GPT-4的DS-Agent实现了接近100%的一次通过率（99%）。基于GPT-3.5的DS-Agent也达到了85%的高通过率。相比之下，最好的基线（单样本提示）仅分别达到60%和56%。特别值得一提的是，对于开源模型Mixtral-8x7b-instruct，DS-Agent将其一次通过率从零样本的6%提升到了31%。 * 模型性能： 如表3所示，在任务特定性能的平均排名上，基于GPT-4的DS-Agent在九种智能体配置中位列第一，基于GPT-3.5的DS-Agent位列第二，且优于基于GPT-4的基线模型。 * 消融实验与深入分析： * 开发阶段的消融实验（表2）表明，移除“重排序修正器”或整个CBR机制（即不让LLM接触任何人类洞察）都会导致性能显著下降，证明了CBR框架及其动态调整机制的重要性。 * 部署阶段的进一步分析（图6）发现，让DS-Agent学习过去成功的代码案例，其效果远优于让其学习从Kaggle收集的文本洞察，这凸显了开发阶段积累同质化智能体经验对于高效部署的价值。 * 超参数分析（图6(b)）显示，在部署阶段的上下文中提供一个示例案例效果最佳，提供多个案例反而会引入干扰信息导致性能下降，这与DS-Agent“适配单个案例”的设计理念相符。
3. 资源成本： 如表4所示，DS-Agent成功实现了其低资源部署的设计目标。在开发阶段，基于GPT-4的DS-Agent每次运行成本为1.60美元，而到了部署阶段，成本骤降至0.135美元，降幅超过90%。基于GPT-3.5的成本则从0.06美元降至0.0045美元。这使得DS-Agent在现实世界部署中极具吸引力。
第五、 结论与研究价值
本研究成功提出并验证了DS-Agent——一个通过融合大语言模型智能体与基于案例的推理范式来实现自动化数据科学的新型框架。
科学价值： 1. 方法论创新： 首次将经典的CBR范式系统地与前沿的LLM智能体相结合，用于解决开放式的自动化数据科学问题，为解决LLM在专业领域规划能力不足和幻觉问题提供了新思路。 2. 灵活的混合学习机制： DS-Agent通过案例库的检索、重用和保留，实现了一种免于对LLM进行大规模参数微调的知识获取与更新机制。这相当于为LLM智能体配备了一个可动态扩展、包含专家经验的“外部记忆”和“学习回路”。 3. 分阶段优化框架： 明确区分开发（探索与优化）和部署（高效执行）两个阶段，并在两阶段应用不同复杂度的CBR范式，为构建实用化AI智能体提供了可借鉴的工程架构。
应用价值： 1. 高效自动化： DS-Agent能够以高成功率和高模型性能自动完成从理解需求到训练模型的完整数据科学流程，显著提升数据分析和模型开发的效率。 2. 降低成本与门槛： 部署阶段的极低成本使得自动化数据科学服务的大规模应用成为可能。其自然语言交互方式极大降低了用户使用机器学习技术的专业门槛，有助于数据科学的民主化。 3. 兼容性与可扩展性： 框架对底层LLM的能力要求相对灵活，即使使用能力稍弱的开源模型（如Mixtral），也能通过CBR机制获得显著提升。同时，通过向案例库添加新领域（如图数据）的专家洞察，系统可以轻松扩展至新的数据科学任务类型。
第六、 研究亮点
第七、 其他有价值内容
论文在“影响声明”部分主动探讨了DS-Agent可能带来的伦理与社会影响，包括对数据科学家就业的潜在影响、恶意代码生成的风险以及数据隐私安全问题，并提出了相应的缓解建议（如代码审查、在Docker容器中运行等），体现了负责任的AI研究态度。此外，论文还将DS-Agent与传统的自动化机器学习系统（如AutoGluon）进行了简要对比，指出DS-Agent在任务灵活性（支持多模态）、交互友好性（自然语言）和动态知识整合方面的优势，并通过实验展示了其在部分任务上媲美甚至超越专业AutoML工具的性能，这进一步拓宽了对其应用价值的认识。所有数据和代码均已开源，促进了研究的可复现性和后续发展。