本研究由美国阿贡国家实验室先进光子源（Advanced Photon Source）的杜明（Ming Du）、罗燕齐（Yanqi Luo）、Srutarshi Banerjee、Michael Wojcik、Mathew J. Cherukara以及西北大学放射肿瘤学系的Jelena Popovic共同完成。论文题为“Experiment automation agents: automating materials characterization with vision language model agents”，发表于*npj Computational Materials*（2026年）。该研究提出了名为实验自动化智能体（Experiment Automation Agents, EAA）的系统，旨在利用视觉语言模型（Vision Language Model, VLM）驱动的智能体自动化复杂的实验显微工作流程。
同步辐射光源实验通常需要大量重复性、时间密集的操作，如光学调谐和感兴趣特征搜索。传统基于规则的自动化方法难以处理依赖上下文和语义理解的任务，而初次使用光源的外部用户面对复杂仪器控制系统时往往需要大量培训。近年来，大语言模型（Large Language Model, LLM）和视觉语言模型的推理、工具使用及图像理解能力迅速提升，为在同步辐射实验中应用人工智能智能体提供了新的可能。已有系统如CALMS和Vision分别展示了基于数据库API的衍射仪自动定位和模块化语音/文本控制的数据采集，但在视觉决策、灵活工作流构建、标准化工具接口和长期记忆等方面仍存在不足。本研究旨在填补这些空白，开发一个具备视觉理解能力、灵活工作流架构、现代工具生态和长期记忆功能的智能体系统，以提升束线效率、降低操作负担并降低用户专业知识门槛。
EAA的软件架构包含三个主要模块：任务管理器（Task Manager）、智能体（Agent）和工具库（Tool Library）。任务管理器定义了用户与智能体之间的对话循环，也可实现由智能体或逻辑驱动的工作流。系统支持三种不同智能体参与程度的工作流：逻辑驱动工作流、混合工作流和智能体驱动工作流。逻辑驱动工作流中，任意Python代码驱动流程，LLM查询作为局部子程序嵌入；混合工作流中，分析例程可在特定节点触发，并通过钩子函数自动执行；智能体驱动工作流则由LLM自主决策并调用工具完成任务。
智能体负责多模态推理、决策和工具编排，介于VLM推理端点与实验工具之间。系统支持通过检索增强生成（Retrieval-Augmented Generation, RAG）实现长期记忆，将标准操作流程、最佳实践和实验中间观测存入向量数据库以备后续检索。文本嵌入是当前主要存储形式，图像可先经VLM生成描述文字再嵌入。
工具库为智能体提供对实验能力的受控访问，包括图像采集、运动控制和光学调整等。工具为有状态设计，采集的图像或参数状态在多次工具调用间持久保持。EAA支持进程内工具和通过模型上下文协议（Model Context Protocol, MCP）托管的外部工具，并具备双向MCP兼容性：既可将自身工具包装为MCP服务器供其他客户端使用，也可调用外部MCP工具。在工程安全方面，EAA避免不必要的多线程执行，通过进程隔离或受控串行执行确保与仪器控制库的兼容性和线程安全。
研究者在先进光子源2-ID-D束线的X射线荧光显微镜（X-ray Fluorescence Microscopy, XRF）装置上进行了三个案例研究，使用GPT-5作为VLM。
案例一：显微镜自动聚焦。 该任务使用含铬特征的XRF聚焦靶标，以西门子星和网格线为参考特征。智能体从初始波带片z位置-200 mm出发，按照预设流程循环执行：一维线扫描获取线剖面并拟合高斯峰获得半高全宽（Full Width at Half Maximum, FWHM）作为锐度指标，调整波带片z位置，采集二维图像并执行相位相关图像配准以估计漂移，根据漂移量修正下一次线扫描坐标。工作流采用混合模式，图像配准由逻辑自动触发，而图像重叠判断由智能体视觉完成，特征追踪子任务则交由子智能体处理。实验过程中智能体共访问8个z位置，从-200 mm逐步逼近最优焦点-193.5 mm。初期以2 mm步长移动，在z=-192 mm处发现FWHM增大后推断最优点位于-194至-192 mm之间，继而进行精细搜索，最终确定-193.5 mm为最优位置。与贝叶斯优化（Bayesian Optimization, BO）方法的模拟对比表明，智能体方法的测量效率更高且终止决策更直观。5次独立智能体运行均收敛至真实最优值附近，最大偏差仅为0.5 mm。
案例二：特征自动搜索。 实验样品为硅氮化物膜上的微米级金特征光刻测试图案。智能体被赋予图像采集工具，并受自然语言指令寻找西门子星中心。搜索范围为全样品区域，智能体从样品一角开始执行网格搜索，在第6步发现西门子星局部后自动减小步长，第8步采集到西门子星大致居中的图像并终止搜索。虽然最终定位精度略逊于人类操作员（后者可直接从坐标轴读数实现精确居中），但自动化的搜索过程已显著减少了人工工作量。此外，RAG增强的特征搜索模拟实验验证了跨会话检索能力：首次会话中保存的图像描述嵌入使后续会话能快速定位“50 nm”标记特征。
案例三：交互式数据采集。 该实验使用经SrCl₂处理的CLN犬淋巴结细胞标本。用户通过网页界面将全视场图像发送给智能体，随后截取局部区域作为截图粘贴至对话中，要求智能体在该区域执行精细扫描。智能体需将截图与全视场图像关联，通过坐标轴刻度确定扫描位置和尺寸，最终正确发出了x=4250、y=-700的二维扫描工具调用。随后用户指令智能体缩小视场并依次执行步长Δ=1、0.5、0.2 µm的三次扫描，同时要求点数不超过200。智能体计算出120 µm × 80 µm的视场尺寸，并在步长0.5和0.2 µm时自动缩减扫描范围以满足点数约束，连续执行三次工具调用而无需人工干预。该实验展示了VLM在实验规划和文本推理方面的充分能力。
研究还对五种具备工具调用能力的VLM（GPT-4o、GPT-5、Gemini 2.5 Pro、Gemini 3 Pro Preview和本地部署的Gemma 4 31B）进行了两项基准测试。在工具调用精度测试中，所有模型均达到100%命中率，但GPT-5和Gemini系列模型的延迟显著高于GPT-4o。在图像定位精度测试中，推理型模型GPT-5和Gemini系列的平均误差约在10像素以内（Gemini 3 Pro Preview低于5像素），GPT-4o平均误差32像素，本地部署的Gemma 4约13像素。这表明开放权重模型在定量视觉任务上已取得长足进步，本地部署方案在数据隐私和知识产权保护方面具有优势。
Token使用统计显示，显微镜聚焦任务消耗约15,000个输入token和7,000个输出token，其中约三分之二的输入token来自图像，货币成本约0.1美元，在商用前沿模型定价下是可承受的。幻觉问题在定量图像分析中尤为突出，一项测试显示ChatGPT-5在判断平移偏移任务中的平均欧氏误差为3.0像素，而相位相关方法在所有情况下均正确。这凸显了将逻辑算法以工具、编程能力或规则触发步骤形式嵌入智能体系统的重要性。
EAA通过多种策略实现高效上下文管理：剪除历史消息、使用子智能体隔离上下文、任务间刷新上下文。信息跨会话传递可通过RAG向量数据库、Markdown文件或SQL关系数据库实现。安全防护采用多层机制：工具函数的硬性参数范围检查、可选的人工审批机制、高风险工具默认需人工批准、文件系统交互工具可在容器中执行，以及束线级安全联锁和固件硬约束的绝缘保护。
EAA的核心价值在于其以视觉能力、灵活工作流和现代工具生态为核心的设计原则。系统不绑定特定LLM或工作流模式，具备面向人工智能快速演进的前瞻性。研究预期EAA将提升束线效率、释放束线科学家的时间用于创造性工作，并使束线操作对用户更加友好。未来方向包括：信息持久化与检索与自动化流程的更紧密集成、不同记忆控制策略的系统比较、模型栈向本地部署和束线特定数据的适配、专用视觉和优化模型对VLM的替代或补充，以及基于LoRA等参数高效方法或GRPO等强化学习方法的任务特定微调。该研究为同步辐射光源的实验自动化提供了一个兼具灵活性与鲁棒性的技术框架，并为视觉语言模型在科学仪器自动化领域的应用提供了实证依据。