本文档属于类型a：对单一原创研究的报告。

《Nature Machine Intelligence》2022年12月刊（第4卷，1101-1112页）关于深度学习框架ATOMAI的学术报告

本研究报告于2022年12月8日在线发表于《Nature Machine Intelligence》期刊，题为“ATOMAI：用于电子和扫描探针显微镜图像与光谱数据深度学习分析的框架”。该研究的主要作者包括来自美国橡树岭国家实验室纳米相材料科学中心、计算科学与工程部门的Maxim Ziatdinov（通讯作者）、Ayana Ghosh，以及田纳西大学的Chun Yin (Tommy) Wong和Sergei V. Kalinin。该工作是在橡树岭国家实验室等机构支持下完成的。

研究的学术背景与目标 本研究植根于凝聚态物理、材料科学和化学表征的核心领域——电子显微镜（(扫描)透射电子显微镜，(S)TEM）和扫描探针显微镜（SPM）。过去数十年，这些技术已成为在原子和介观尺度探索物质结构、化学与物理性质的关键工具。随着像差校正技术、高性能探测器、单色仪等硬件的飞跃式发展，研究人员能够获取海量高保真的结构图像与光谱数据，其中蕴含了丰富的材料结构与功能信息。

然而，尽管数据获取能力空前强大，但在更广泛的参数空间（如不同温度、成分、外场条件下）建立显微观测结果与材料行为之间定量、可预测联系的桥梁仍然匮乏。传统的分析方法往往处理速度慢、主观性强，且难以从复杂数据集中提取深层物理关联。因此，研究团队旨在开发一个统一的软件生态系统，以弥合仪器控制、数据分析、深度学习与物理模拟之间的鸿沟。

在此背景下，本研究的目标是开发并介绍一个名为ATOMAI的开源软件包。该软件包的核心目标是将仪器特定的Python库（如用于数据读写的Hyperspy）、强大的深度学习框架（如PyTorch）以及第一性原理模拟工具无缝集成到一个统一的工作流中。ATOMAI旨在实现：1）利用深度神经网络对原子及介观图像进行语义分割，将图像和光谱数据转换为基于类别的局部描述符（如原子种类与位置），以进行后续统计与图分析；2）提供广泛的图像与光谱分析功能，包括用于解耦结构变化因素的不变变分自编码器（VAE），以及用于映射结构-性质关系的“图像到光谱”编码器-解码器模型；3）实现基于推断出的原子位置与第一性原理建模的无缝连接。简而言之，ATOMAI试图为显微学界提供一个“一站式”的深度学习驱动分析平台，以加速从原始数据到物理洞察的转化过程。

详细的研究工作流程 本研究的核心不是一项传统的实验科学，而是开发并展示一个综合性软件框架。因此，其“工作流程”实质上就是ATOMAI软件包的设计架构、核心模块功能、应用案例展示以及与其他工具的集成路径。

1. 软件架构设计与核心模块开发：研究团队基于PyTorch深度学习引擎构建了ATOMAI。其架构旨在连接仪器专用库和通用物理分析工具（如图1所示）。软件包内容分为三大层次（如表1总结）：

   • 核心模块（低级API）：包括自定义的trainers（训练器）、predictors（预测器）和nets（神经网络）。trainers封装了语义分割、im2spec、变分自编码器及深度集成等模型的训练流程，集成了随机权重平均、动态权重扰动和即时数据增强等先进技术，并确保了训练的可重复性。predictors封装了推理流程，自动处理输入数据的维度、大小不匹配问题（如自动填充），并支持对大数据集进行分批预测。nets包含了定制的神经网络，例如用于语义分割的全卷积网络（包括U-Net的变体，如DilNet、ResHedNet、SegResNet），以及用于im2spec模型和深度生成模型的编码器-解码器模块（包括实现旋转/平移不变性的专用架构）。

2. 高级API模型与功能实现：这是ATOMAI提供用户友好接口的关键层，包含多个即用型模型。

   • Segmentor（分割器）：用于图像数据的语义分割。用户只需几行代码即可初始化、训练模型，并用其预测新数据。模型输出每个像素的类别归属（如原子类型、缺陷、背景），并可进一步提取为原子坐标（x， y， 类别）的字典。研究团队还提供了基于二维高斯拟合的坐标精修选项。图3展示了将Segmentor应用于未知实验STEM图像，成功分割出原子并精确定位的结果。
   • ImSpec（图像-光谱模型）：用于建立结构图像与功能光谱（如EELS）之间的关联预测模型。该模型通过卷积神经网络将代表局部结构的图像“压缩”为少量潜在变量，再“解压”为预测光谱（Im2Spec），反之亦然（Spec2Im）。用户需定义输入图像和输出光谱的维度。图4a-d展示了应用ImSpec模型预测等离子体粒子EELS谱的案例，证明了从HAADF-STEM图像预测光谱的可行性。
   • VAEs（变分自编码器）：用于无监督学习数据的高效低维表示。ATOMAI内置了标准VAE及其扩展，包括旋转（和平移）不变VAE（rVAE），以及用于解耦连续与离散潜在表示的联合VAE（jVAE/jrVAE）。这些模型特别适合从原子坐标或图像块中提取和分离潜在的结构变化因素。图4e示意了结合Segmentor和rVAE分析原子力显微镜（AFM）电影中蛋白质自组织过程，以解耦局部转变相关机制的工作流。
   • Deep Ensembles（深度集成）：用于训练模型集成，以提高预测准确性和可靠性，并量化预测不确定性。ATOMAI支持三种集成训练策略：从头开始训练、基于基线模型训练和SWAG训练。集成学习与迭代训练（ELIT）框架（图5）被提出，用于鲁棒的特征识别和不确定性量化，通过迭代训练和更新训练集来持续改进模型。

3. 辅助工具与下游分析集成：ATOMAI不仅包含深度学习模型，还集成了多种分析工具和接口。

   • 统计与图分析：stat模块提供主成分分析、独立成分分析、非负矩阵分解等多元统计分析功能，可应用于原始数据或Segmentor的输出。graphx模块用于基于原子坐标的图分析，例如识别石墨烯中的特定环状结构（如五元环、七元环），如图6a-b所示的“缺陷嗅探”应用。
   • 与第一性原理模拟的连接：aseutils模块提供了ase_obj_basic和ase_obj_adv实用函数，能够将Segmentor预测的原子坐标转换为原子模拟环境（ASE）可读的对象。这使得用户可以直接基于实验图像推断出的原子结构构建超胞，并输入VASP等电子结构计算软件进行第一性原理模拟，如图6c-e所示。
   • 训练数据准备：提供实用函数用于从原子坐标生成真值“掩膜”以及进行数据增强。

主要研究结果 本研究的结果通过展示ATOMAI各模块在真实科学问题中的应用案例来体现，证明了该框架的有效性、多功能性和实用性。 1. 原子级图像分割与坐标提取：应用Segmentor模型对未参与训练的实验STEM图像进行处理，成功实现了原子位置的语义分割（图3b）。模型输出不仅区分了不同原子（如果存在不同种类），还能稳定地应对样品厚度变化等实验扰动。进一步的坐标精修功能提高了定位精度（图3c）。这些结果为后续的统计、晶格应变分析、缺陷分类等提供了精确的输入数据。 2. 结构-性质关系的预测建模：通过ImSpec模型，研究团队成功建立了等离子体纳米颗粒的HAADF-STEM图像与其局部EELS谱之间的映射关系（图4a-d）。模型在训练后能够从新的结构图像预测其对应的光谱，展示了利用深度学习直接关联微观结构与电子性质的能力。这一结果为高通量筛选材料功能特性或理解结构-性能关联提供了新工具。 3. 无监督解耦与潜在机制发现：结合Segmentor和旋转不变VAE（rVAE），研究团队能够从AFM拍摄的蛋白质纳米棒自组装动态电影中，提取并解耦出与局部结构转变相关的连续潜在变量（图4e示意）。这允许研究人员在无先验标签的情况下，发现数据中隐藏的、具有物理意义的“机制”，例如特定的旋转或排序模式。 4. 鲁棒分析与不确定性量化：通过深度集成和ELIT框架（图5），ATOMAI能够提供更可靠的预测，并对每个预测点（如像素）的不确定性进行估计。这种不确定性信息可用于异常检测或指导自动化实验工作流，使显微镜研究从被动观察转向主动、闭环的探索。 5. 跨尺度、跨模态分析的潜力证明：虽然ATOMAI的多数应用案例集中于原子分辨STEM，但文中明确指出，其许多模块（如Segmentor, VAEs）经过适当调整，可同等应用于原子分辨扫描隧道显微镜（STM）数据，并可扩展至SPM和STEM的介观尺度成像分析。这体现了框架设计的通用性和灵活性。 6. 与物理建模的无缝桥接：如图6c-e所示，从石墨烯STEM图像出发，通过ATOMAI的Segmentor提取原子种类和坐标，并利用aseutils工具快速构建用于第一性原理计算的超胞模型。这一完整工作流展示了如何将实验观测直接转化为可计算模型，实现了“观测-分析-模拟”的闭环。

研究结论、意义与价值 本研究成功开发并介绍了ATOMAI，这是一个将仪器专用Python生态系统、深度学习工具和物理模拟软件桥接至单一工作流中的高级软件包。其核心价值在于： * 科学价值：ATOMAI通过自动化、高精度的深度学习分析，极大地提升了从海量、复杂的显微学数据中提取定量信息的效率与可靠性。它使得研究人员能够更专注于物理问题的提出和解释，而非繁琐的数据处理。更重要的是，其集成的生成模型（VAEs）和预测模型（ImSpec）为发现数据中隐藏的物理规律、建立可解释的结构-功能关联提供了新范式。 * 应用价值：作为一个开源工具，ATOMAI降低了深度学习在显微学领域应用的门槛，使不具备深厚机器学习背景的研究人员也能利用最先进的算法。它促进了研究方法的标准化和可重复性。与第一性原理计算的直接接口，为实现“数字孪生”和跨尺度建模提供了关键工具。此外，其不确定性量化能力和与自动化实验集成的潜力，为下一代自主智能显微镜系统奠定了基础。 * 重要观点：研究强调了尽管STEM和SPM成像机制迥异，但其数据格式（结构化多维数组）和分析目标（如原子位置识别）存在共性，因此可以构建通用的分析工具。ATOMAI正是这一理念的实践，它试图打破不同显微技术之间的分析壁垒。

研究亮点与创新性 1. 高度的集成性与桥梁作用：ATOMAI的核心创新在于其“桥梁”定位。它并非替代现有的仪器库（如Hyperspy）或深度学习框架（如PyTorch），而是创造性地将它们与科学数据分析的需求连接起来，填补了从原始数据到物理洞察之间的关键空白。 2. 专门为科学数据设计的高级API：提供了如Segmentor， ImSpec， rVAE等即用型模型，用户通过极简的代码即可执行复杂的深度学习任务，极大提升了易用性和研究效率。 3. 对科学问题深刻理解的功能嵌入：集成了旋转/平移不变VAE、用于结构-性质预测的编码器-解码器、与ASE的接口等，这些功能设计直接响应了材料科学和物理学中的核心分析需求（如对称性考虑、构效关系、多尺度模拟）。 4. 强调可重复性与不确定性：训练器强制确定性训练，集成学习框架提供不确定性估计，这些特性对于严肃的科学研究至关重要，增强了结果的可靠性和可信度。 5. 开源与社区驱动：作为开源项目发布在GitHub和Zenodo上，鼓励社区贡献、改进和应用，有利于工具的持续发展和广泛采纳。

其他有价值的方面 论文在引言和讨论部分详细梳理了STEM和SPM技术的发展脉络、定量分析面临的挑战，以及现有的Python分析生态系统（如HyperSpy, LiberTEM, Py4DSTEM, ASE等），为读者提供了清晰的领域背景。同时，也指出了ATOMAI目前主要应用于原子分辨STEM，但框架设计具有向介观尺度和其他模态扩展的灵活性，展现了其长远的发展视野。文末提供了数据和代码的获取途径，完全符合可重复研究的原则。