本文档是一篇发表于*NPJ Computational Materials*的视角性论文（Perspective），标题为“Machine learning for automated experimentation in scanning transmission electron microscopy”。其主要作者包括Sergei V. Kalinin（美国田纳西大学）、Debangshu Mukherjee（美国橡树岭国家实验室）等来自多个国家实验室和大学的科研人员。该论文并非报道单一原始研究，而是对机器学习（ML）在扫描透射电子显微镜（STEM）自动化实验领域应用的现状、挑战与未来前景进行的系统性阐述与展望。

论文核心议题与框架 该论文的核心议题是探讨机器学习如何从后处理数据分析工具，转变为能够驱动实时、闭环操作的自动化实验的核心组件，从而彻底改变STEM的工作模式。文章系统性地分析了这一转变所需克服的技术挑战、所需的基础设施支持，并展望了未来可能的发展方向。论文的论述主要围绕以下几个关键点展开：

1. STEM自动化实验的驱动力与挑战 论文开篇指出，机器学习在（扫描）透射电子显微镜的后期数据分析中已变得至关重要。一个新兴的趋势是向实时分析和闭环显微镜操作过渡。然而，实现有效的自动化实验面临多重挑战。

首先，数据特性的挑战：在主动实验中，数据是顺序生成的，这与传统ML处理静态数据集的方式截然不同。其次，模型稳定性挑战：显微镜的性能在操作期间（尤其是不同实验日之间）会发生变化，导致先前训练的神经网络模型性能下降，即“分布外漂移”效应。第三，工作流定义挑战：人类操作者执行实验遵循着或隐或显的目标，而将这种目标（或“奖励函数”）形式化，并转化为机器可执行的策略，是定义自动化实验工作流的关键。此外，还涉及边缘计算需求、本地与云存储，以及将理论计算纳入实时循环（theory-in-the-loop）的挑战。

2. 迈向自动化实验的三大支柱 作者指出，构建自动化实验系统需要明确分析三个不同但相互关联的组成部分：工程控制、算法和奖励。 * 工程控制：这依赖于显微镜制造商提供的应用程序编程接口（API）的可用性和开放性。例如，Nion Swift API和JEOL的pyJEM API的推出，极大地促进了研究人员对显微镜照明系统、样品台、探测器等核心组件的底层控制，使得复杂实验（如非矩形扫描、原子操纵）成为可能。同时，需要一个能够处理可变延迟（由数据采集与分析速度差异引起）的异步控制系统，例如PNNL开发的AutoEM系统。 * 算法：这是处理显微镜数据流、进行分析并生成控制指令的核心。算法复杂度范围很广，从简单的边缘检测、傅里叶变换到复杂的深度卷积网络。选择何种算法取决于具体任务、参数空间维度、数据可变性以及计算能力和延迟要求。论文特别提到了几种关键算法：用于稳健特征检测的集成学习迭代训练（ELIT）方法、用于在少量数据下学习结构-性质关系的深度核学习（DKL）方法，以及用于预测未来系统状态（如化学反应进程）的循环神经网络（RNN，如EELSTM模型）。 * 奖励：这是指实验的感知目标，是自动化实验中最常被忽视但至关重要的元素。奖励函数将实验目标（例如，发现感兴趣的特征、定量测量特定物理量、验证假设）转化为可优化的量。它决定了实验在“探索”（寻找新特征）和“利用”（深入研究已知特征）之间的平衡策略。明确奖励函数是将其转化为优化问题（如通过贝叶斯优化）或强化学习问题的前提。

3. 实时分析与决策的实现路径 实现自动化实验的第一步是对显微镜数据流进行实时分析。这包括从简单的去噪插值到复杂的语义分割和特征发现。 * 针对分布外漂移的解决方案：文章以ELIT工作流为例，说明如何通过集成学习结合迭代训练来克服模型对成像条件变化的敏感性，提高特征检测的准确性和鲁棒性。该工作流可以先在模拟数据（如基于第一性原理计算生成的原子结构）上预训练，然后在实验过程中使用实时采集的数据进行迭代微调。 * “开环”与“闭环”实验：最简单的自动化形式是基于预定义策略的“开环”实验。例如，使用预先训练的ML模型识别感兴趣的物体（如特定缺陷），然后对它们执行预定的测量序列。更高级的形式是“闭环”实验，其中分析结果实时反馈以指导后续测量。例如，使用DKL方法，仅需少数几个结构-光谱数据对，即可在线学习结构图像局部区域与光谱特征（如电子能量损失谱的某个峰比）之间的关系模型，并利用该模型主动选择下一个最有信息量的测量点，高效探索样品空间。 * 理论融入循环：为了建立更深层次的理解并指导实验，需要将理论计算融入自动化循环。作者描述了这样一个工作流程：用深度神经网络识别原子特征（类型和位置），然后自动构建可用于第一性原理计算（如密度泛函理论DFT）的模拟对象。人类专家在循环中选择有理论探究价值的图像区域片段进行模拟，将实验结果与理论预测快速对比，从而揭示潜在的物理机制。

4. 基础设施与生态系统构建 自动化实验的落地离不开强大的计算和数据基础设施支持。 * 边缘计算与实时决策：根据实验对延迟的不同要求（从毫秒级触发到分钟级分析），需要在不同位置部署计算资源。对于实时控制和触发，可能需要将ML模型直接部署在可编程逻辑器件（如FPGA）上。对于主动学习，则需要在显微镜附近部署强大的GPU工作站进行边缘计算，以处理数据流并做出秒级决策。高速、稳定的网络连接是连接仪器与远程计算资源的瓶颈。 * 分布式系统与仪器云：论文以橡树岭国家实验室（ORNL）和太平洋西北国家实验室（PNNL）的生态系统为例，展示了如何将显微镜整合进分布式系统。这包括建立独立的控制与数据通道、跨操作系统（Windows与Linux）的软件接口，以及将远程高性能计算资源纳入分析循环。更进一步的愿景是构建“共享仪器云”数据基础设施，包含：工作流库与编排（定义、共享和复用实验流程）、数据收集与移动（在不同系统间可靠传输数据）、灵活计算（在从边缘到云、到超算的连续体上调度任务）、数据仓库（存储和共享原始/处理后的数据及元数据）和模型仓库（存储、版本管理和共享训练好的ML模型）。这将使任何联网设施的科学家都能共享数据、工作流和模型，极大提升研究效率并可能催生新的发现模式。

5. 未来展望与结论 论文最后展望了STEM自动化实验的未来。作者认为，当前该领域虽处于起步阶段，但发展迅速。向自动化实验的过渡不仅需要技术进步（如仪器超语言、抗漂移算法、边缘计算），更需要在科学活动规划和执行方式上进行深刻变革。未来，要超越简单模仿人类操作，需要更清晰地定义实验的“奖励”（如好奇心驱动的发现、假设证伪、定量测量），并制定或演化出能够在给定实验预算内实现这些奖励的“策略”。随着Python API的普及、云基础设施的发展以及主动学习方法的进步，这一领域有望在未来几年内快速增长。

论文的意义与价值 这篇视角论文系统地梳理了机器学习驱动STEM自动化实验这一前沿交叉领域的全貌，具有重要的指导意义。它不仅为显微镜学家、数据科学家和计算机工程师提供了清晰的技术路线图，指出了当前面临的关键挑战（如分布外漂移、奖励定义、基础设施），而且提出了构建未来“仪器云”生态系统的宏大愿景。文章强调，自动化实验的最终目标不是取代人类科学家，而是通过人机协同，将科学家从重复性操作中解放出来，专注于更高层次的科学问题定义、假设提出和结果诠释，从而极大加速材料科学的发现进程。因此，该论文对于推动电子显微学向智能化、自动化方向发展，以及促进跨学科合作，具有重要的学术价值和前瞻性影响。