关于《ACS Nano》期刊论文《电子显微镜与扫描探针显微镜中的自动化与自主实验》的学术报告
一、 作者、机构与发表信息
本文由Sergei V. Kalinin（通讯作者）、Maxim Ziatdinov、Jacob Hinkle、Stephen Jesse、Ayana Ghosh、Kyle P. Kelley、Andrew R. Lupini、Bobby G. Sumpter和Rama K. Vasudevan共同撰写。作者团队主要来自美国橡树岭国家实验室（Oak Ridge National Laboratory）等研究机构。该论文于2021年7月16日在线发表于《ACS Nano》期刊（2021年第15卷，第12604-12627页）。
二、 论文主题与核心论点
本文是一篇综合性综述与前瞻性观点文章，其核心主题是深入探讨机器学习（ML）与人工智能（AI）在扫描探针显微镜（SPM）和（扫描）透射电子显微镜（(S)TEM）领域实现自动化与自主实验（AE）的路径、挑战与机遇。论文的核心论点在于：自动化/自主实验不应仅仅被视为对人类操作的替代，而应在一个更广泛的“领域知识”框架下进行讨论。这个框架既包含为实验提供信息的先验知识，也包含通过实验获得的新知识。因此，成功的AE设计必须平衡人类与ML/AI在实验前和实验中的角色，考虑决策过程的延迟、偏见和先验知识，同时正视成像系统本身的固有局限性（如延迟、非理想性和漂移）。作者强调，AE在显微镜中的主要作用并非排除人类操作者（这与自动驾驶不同），而是实现实验前的常规操作自动化（如显微镜调谐），并将决策过程从图像采集时间尺度扩展到人类级别的高阶实验规划时间尺度。
三、 主要观点与论述
1. 自动化实验的动机与广义考量 论文开篇指出，尽管ML/AI在物理研究的数据分析和理论预测中应用广泛，但在成像实验的自动化方面仍处于起步阶段。传统显微镜工作流程耗时且依赖操作者经验，而仪器本身的采集速度可能远快于人类决策速度，这为AE提供了必要性。然而，AE的讨论必须置于更广泛的背景下：任何实验都基于对材料和现象的先验知识（如假设驱动的研究），同时实验本身又会增加新的知识。因此，AE系统需要明确区分哪些知识是预先提供给ML的，哪些是在实验过程中获取的。这种先验知识不仅包括预训练的神经网络权重，还包括算法中的归纳偏置（inductive biases），例如贝叶斯优化（Bayesian Optimization, BO）中采集函数的选择或强化学习（Reinforcement Learning, RL）中奖励函数的设计。此外，AE的实现还受到仪器实际限制的约束，包括控制延迟、信号噪声、系统漂移（可分为可校正部分和随机部分）以及测量过程本身可能对样品造成的改变（如电子束损伤或探针诱导的修饰）。
2. 自动化经典工作流程：顺序决策与机器学习策略 论文详细探讨了如何在当前主流的矩形扫描成像和光谱成像工作流程中引入AE。这一范式通常涉及发现并评估感兴趣区域，随后基于此评估采取行动（如更高分辨率扫描、启动复杂光谱测量或进行样品修饰）。ML策略的选择取决于所需的决策延迟和所依据的数据类型。 * 自监督实验：此类方法仅基于实验过程中获取的样品特定数据和仪器行为信息进行决策，不直接依赖人类输入，但算法本身嵌入了先验知识（如归纳偏置）。 * 高斯过程与贝叶斯优化：高斯过程回归（Gaussian Process Regression, GPR）能基于观测数据重建目标函数并量化预测不确定性。贝叶斯优化利用一个采集函数（Acquisition Function）来平衡预测值（ exploitation，利用已知信息）和不确定性（ exploration，探索未知区域），以指导下一个测量点的选择。采集函数的设计（如期望改进EI）体现了人类的先验知识，用于平衡探索与利用。论文指出，传统BO方法通常使用非限制性先验（假设对系统零知识），但当存在先验物理知识时，可以用系统的概率模型替代GP代理模型。此外，作者提出了“路径寻找函数”的概念，用于在采集函数存在多个相近最大值时，优化探针移动的序列，考虑仪器性能（如避免交叉路径）。 * 基于可预测性的学习：当观测数据（如结构图像与光谱数据）之间存在部分已知的物理关联时，可以利用这种关联作为归纳偏置。例如，使用编码器-解码器网络建立结构特征与光谱特征之间的相关性（Im2Spec或Spec2Im），然后利用预测的不确定性作为AE探索的目标。这种方法的关键在于网络需要对成像中的对称性（如旋转、平移）具有不变性。 * 强化学习：对于需要一系列连续决策且结果反馈延迟较长的任务（如原子操纵组装），强化学习（RL）是合适的框架。RL智能体通过与环境的交互学习策略，以最大化累积奖励。论文区分了基于模型的RL（学习环境动态模型，数据效率高但可能过拟合到学习模型）和无模型RL（如深度Q网络DQN、策略梯度方法）。RL的挑战在于奖励信号通常稀疏且需要精心设计，否则可能导致策略“作弊”或无效。为解决探索不足的问题，可以引入好奇心驱动或赋能驱动的内在奖励信号。逆向强化学习（Inverse Reinforcement Learning, IRL）则通过观察专家（如人类操作者）的演示来推断奖励函数，从而避免手动设计奖励函数的困难。
3. 在AE中利用先验知识 AE工作流可以整合过去的知识，模拟人类操作者的经验。这可以是通过预训练的深度卷积神经网络（DCNN）进行特征选择，也可以是通过贝叶斯先验。论文以“Ferrobot”概念为例，说明了结合特征发现和BO的工作流程：利用预训练网络识别铁电畴壁，当探针跨越畴壁时触发预定义的电压序列以研究畴壁动力学。一个更通用的AE工作流程可能包括：使用预训练模型识别目标（如原子位置、特定缺陷），将其编码为描述符或潜在变量，然后以这些描述符为目标进行干预或探索。
4. 应对数据集偏移与分布外数据 将基于模拟数据或广泛实验条件训练的网络应用于特定实验时，常面临数据集偏移和分布外（Out-of-Distribution）数据的问题，导致性能下降。论文介绍了集成学习-迭代训练（Ensemble Learning-Iterative Training, ELIT）方法作为解决方案。该方法从在模拟数据上训练的模型集成开始，用于识别特定系统中的特征并给出预测不确定性，然后使用识别出的高置信度特征对集成模型进行迭代再训练，从而快速适应特定实验条件，提高预测准确性。
5. 显微镜调谐的自动化 仪器性能优化（如探针调谐、像差校正）是耗时且重复的过程，非常适合ML自动化，且通常不需要特定的样品知识。 * SPM/STM针尖校准：可以使用RL学习一系列调谐动作（如高压扫描、针尖脉冲）的序列，将针尖从“坏”状态调整为“好”状态（由预训练分类器定义）。也可以使用GP-BO在成像参数空间（如隧道电流、偏压）中自动搜索最优成像条件，其关键在于定义合适的“分辨率函数”和“风险函数”。 * STEM像差校正与调谐：现代球差校正器非常复杂，包含大量需要精确设置的参数。现有的商业校正器软件已集成计算机控制，其工作流程（图像分析->状态诊断->参数调整）本身具有层次结构，并隐含了先验模型（如图像与像差的关系）。ML/AI有潜力进一步优化这一过程，处理仪器漂移、滞后等现象，甚至识别自动化程序信息不足的情况。
6. 可调谐光谱与超越矩形扫描 * 光谱成像优化：传统光谱测量（如EELS， CITS）通常在预定义网格上进行，耗时且可能低效。AE可以通过在非网格化空间位置采集数据来优化。例如，基于先验的结构/功能图像选择感兴趣区域，或使用GP-BO方法，根据初步测量的光谱响应和不确定性，智能选择后续测量点。采集函数可以基于先验定义的参数（如滞回线面积）或预训练的变换（如PCA分量）。 * 参数空间优化：除了空间优化，还可以优化测量协议本身。例如，在PFM中，根据物理模型（如Preisach模型）自适应地采样多维电压空间中现象集中的区域，而非均匀采样。 * 非矩形扫描：突破传统的矩形光栅扫描，采用螺旋形、李萨茹形或自由形式的扫描路径，可以减轻仪器延迟（如回扫畸变）的影响，并为结构发现、最小化损伤或受控修饰开辟新范式。这需要开发从非均匀采样数据重建图像的方法（如高斯过程、压缩感知）以及动态漂移补偿技术。
7. 从AE到制造/样品的非平稳性 当样品在外界刺激或探针/电子束作用下演化时，AE面临最复杂但也最具潜力的应用场景。 * 外部刺激诱导的动态现象：对于可逆过程，AE可以在包含空间和控制变量的广义参数空间中进行。对于不可逆过程，AE可以调整控制变量的变化速率（如在相变温度附近减慢加热速率）。 * 探针诱导的局部修饰：利用SPM针尖或STEM电子束对材料进行纳米级甚至原子级修饰，是实现原子制造的关键。当因果关系确定时（如已知临界偏压），可通过规划扫描路径创建预设结构。当过程具有随机性时（如电子束诱导的单原子动力学），则迫切需要ML策略（特别是RL）来学习因果关系，并最终实现原子级的操控与制造。
8. 实现AE所需的条件 * 工程控制：当前商业仪器大多采用封闭的控制系统，这是实现AE的主要瓶颈。未来需要开发多层级、可脚本化、低风险的控制方案，并提供仪器模拟器以进行实验前风险评估。 * 边缘计算：显微镜成像的时间尺度（SPM约分钟级，STEM可低至毫秒级）要求ML算法必须在数据产生点附近以低延迟运行。这需要开发轻量级算法，并利用如NVIDIA Jetson等边缘计算设备。对于4D-STEM等产生海量数据的模式，数据传输也是挑战。 * 模拟器与仿真器：广泛采用AE工作流程的关键在于开发先进的仪器和样品交互模拟器，允许在真实实验前测试和验证ML算法与控制策略，确保安全性与有效性。
四、 论文的意义与价值
本文系统性地构建了在SPM和(S)TEM中实现自动化与自主实验的理论与实践框架，具有重要的学术价值与前瞻指导意义：
这篇论文不仅是关于ML在显微镜中应用的综述，更是一份关于如何深度融合人类智能、机器智能与精密仪器以实现下一代智能实验系统的宣言和路线图。它论证了AE必将深刻改变(S)TEM和SPM领域，但这一过程将是渐进的，始于人机协作的工作流程，并最终带来科学研究与纳米技术范式的变革。