本文旨在介绍一篇题为“Deep Learning Analysis on Transmission Electron Microscope Imaging of Atomic Defects in Two-Dimensional Materials”的综述文章，其主要作者包括Chen Gui, Zhihao Zhang, Zongyi Li, Chen Luo, Jiang Xia, Xing Wu, 和 Junhao Chu，他们来自华东师范大学、中国科学院上海技术物理研究所、复旦大学以及芯智汇半导体（绍兴）有限公司等多个中国研究机构。该文以开放获取的形式发表于iScience期刊，具体发表日期为2023年10月20日（第26卷，文章ID：107982）。文章的主题聚焦于利用深度学习技术，对二维（2D）材料原子级缺陷的透射电子显微镜（Transmission Electron Microscopy, TEM）图像进行分析这一前沿交叉领域。
文章的核心论点是，深度学习技术正在彻底变革对二维材料中原子缺陷的TEM图像分析方式，使其从传统主观、低效的手动分析，转变为高效、精确、自动化的智能宏观分析方法。为了实现这一变革，文章系统性地回顾和总结了该领域的最新进展，深入探讨了TEM图像区别于自然图像的特殊性，并分别阐述了深度学习在二维材料点缺陷、线缺陷和面缺陷识别、定量分析以及具体应用方面的成果。以下是文章阐述的几个主要观点及其详细的论证内容。
观点一：传统TEM图像分析面临巨大挑战，深度学习的兴起为解决这些挑战提供了强大工具。 文章首先指出，二维材料因其原子级厚度和独特的物理化学性质在电子学等领域极具前景。然而，根据热力学第二定律，缺陷（如点缺陷、线缺陷、面缺陷）在二维材料中普遍存在，并显著影响其性能。透射电子显微镜（TEM）作为一种强大的原子分辨率表征工具，能够揭示这些与性能相关的结构。随着球差校正、原位TEM、快速成像等技术的发展，TEM的空间、时间和能量分辨率不断提高，但同时也生成了海量的、包含丰富信息的复杂数据集。 传统上，对这些数据的分析严重依赖研究人员的专业知识和主观判断，不仅耗时耗力，而且效率低下、精度有限。这种手动分析的局限性制约了TEM图像数据集的广度和多样性，使其难以满足高通量数据分析的需求。而深度学习的复兴，特别是卷积神经网络（CNN）及其变体的发展，为自动化、定量化的TEM数据分析提供了前所未有的机遇。深度学习模型能够通过多层非线性计算，从大数据中自动学习并提取抽象的结构特征，从而高效、精确地完成缺陷识别、分类、定量分析和物理机制探索等一系列复杂任务。文章通过图1的图示，展示了TEM技术与深度学习融合发展的时间线，强调了二者结合的巨大潜力。
观点二：TEM图像具有与自然图像截然不同的特征，这要求开发适用于TEM图像的专用深度学习方法。 文章强调，尽管深度学习在自然图像处理中取得了巨大成功，但直接将相关方法应用于TEM图像会遇到显著困难。作者详细列举了TEM图像的特殊性以支持这一观点： 首先，TEM图像通常具有高噪声和复杂畸变。图像质量受多种因素影响，包括球差、离焦、电子束剂量、加速电压、样品厚度、环境因素乃至电镜型号和操作员等。对于基于非线性对比度传递函数的高分辨率TEM（HRTEM）图像，这一问题尤为严重，导致图像复杂且难以解释。 其次，TEM图像是灰度图像，而自然图像多为彩色且具有自然纹理。TEM图像的对比度源于电子与物质的相互作用机制。例如，扫描透射电子显微镜（STEM）图像中的Z衬度反映了材料的原子序数；HRTEM图像中的对比度则反映了局部厚度变化、原子序数、离焦量、周期性等信息。 最后，也是最为关键的一点，材料科学中的许多现象（如各种原子构型和缺陷）缺乏先验知识或标注。许多现象是意外出现或难以预料的，这导致获取“真实标注”非常困难。通常，建立真实标注需要大量人工干预和专业判断，既费时又无法满足高通量分析的需求。同时，训练深度学习模型需要大量精确标注的数据，而在TEM领域，数据增强基于有限数据变得至关重要。基于这些根本性差异，文章认为，探索适用于TEM图像分析的深度学习方法是一项紧迫任务，并引出了后续对不同类型缺陷分析的具体讨论。
观点三：深度学习能有效处理TEM图像中的噪声，实现原子柱的精确定位与分割，这是后续定量分析的基础。 在处理点缺陷之前，文章专门用一节讨论了TEM图像中的噪声问题。作者指出，精确、稳健的原子柱定位和分割对于定量分析至关重要，而低信噪比会引入复杂干扰，降低分析准确性。在成像过程中，需要在电子辐照损伤和图像信噪比之间取得平衡。高能电子束虽然能提供高精度测量，但也会对辐射敏感的二维材料造成结构损伤（如敲击位移、辐解等）。为了保持材料本征结构，必须降低加速电压和电子剂量，但这限制了信噪比的提升。快速成像技术的发展（如直接电子探测器）也在时间分辨率提高的同时降低了单帧图像的信噪比。 因此，开发可靠的去噪方法对于二维材料中的原子识别和精确定位至关重要。文章以图3为例，展示了深度学习模型在去噪方面的巨大潜力。经过训练的深度学习网络能够从低信噪比图像中定量分析和提取噪声背景，甚至可以统计出理想原子位置与实际原子占位之间的平均偏差。令人惊叹的是，深度学习模型能够识别近乎人眼无法分辨的原子占位，识别偏差可低于10皮米甚至达到亚皮米级别。这种基于深度学习的识别方法，其误差在仪器误差范围内，几乎可以忽略不计。这为后续的点缺陷结构识别奠定了坚实的数据基础。
观点四：深度学习能够自动化、精确地识别和分类二维材料中的点缺陷，并实现从基于像素的分类到基于化学结构的分类的跨越。 在解决噪声问题后，文章阐述了深度学习在点缺陷识别方面的应用。传统方法依赖人工检查或傅里叶滤波、强度阈值等基本图像处理技术，费力且低效。神经网络的出现使得缺陷识别的自动化成为可能，能够以最少的人工干预批量发现缺陷并生成类别平均图像。 文章以石墨烯和MoS2等材料为例进行说明（图4）。通过训练深度学习网络（如编码器-解码器结构），可以输出像素级的分类图，从而获得每个像素属于特定类型缺陷的概率。网络能够在原子尺度区分无序区域与无缺陷部分，定位检测到的缺陷，并能泛化到先前未见过的缺陷结构。对于单层二维材料，可以从TEM图像中获取原子的x和y坐标；对于多层材料，通过向神经网络输入同一区域在不同拍摄参数（如聚焦系列）下的TEM图像，甚至可以提取出柱体高度（z方向）信息。当原子位置被识别后，结合材料的特定信息和宏观性质，可以进一步推导出缺陷构型。深度学习不仅能识别高信噪比下的单个缺陷构型，还能精确重建它们。
观点五：结合物理化学约束，深度学习能对点缺陷进行定量分析，提取键长、键角等化学环境参数，深入揭示物理机制。 文章进一步指出，仅基于像素图谱识别点缺陷是不够的，精细的结构分类需要定量的化学环境分析（如键长、键角、配位数）。例如，在硅掺杂石墨烯中，SiC4和SiC3+空位可能难以区分并被归为同一类。 为此，需要引入合适的数学算法（如高斯拉普拉斯算子）和物理约束，使深度学习网络能够提取相关的结构/化学参数用于进一步的缺陷分类。通过引入材料的部分先验知识（如最小/最大配位数、化学键的最小/最大长度），可以辅助实现从TEM图像像素到材料特定信息的转换。文章以Ziatdinov等人的工作为例（图5），他们利用深度学习确定了每个被识别原子的相邻原子形成化学键的可能性，并自动计算和统计了键长的变化。通过结合键角统计，可以精确确定、分类和计数具有不同化学环境的硅缺陷。 这种方法实现了化学键的定量计算，效果类似于第一性原理计算，但原理不同。它代表了从基于像素的缺陷分类到基于化学结构的分类的跨越，分析结果包含了图像背后的物理化学信息。例如，在引入物理化学约束并使用基于化学的分类方法后，可以精确区分三配位和四配位的硅原子，并对二维材料中不同结构的缺陷进行准确识别和统计。
观点六：深度学习的应用已扩展到线缺陷和面缺陷的识别，并能处理更复杂的结构演化与多相体系。 文章随后将讨论延伸至更复杂的缺陷类型。对于线缺陷（如边界和边缘），其尺寸跨度大，界面结构构型多样，且通常包含多种点缺陷的组合与拓扑重构，识别更为复杂。深度学习不仅能自动识别边缘形貌的演化（如图7a中1T相二维材料纳米孔边界的演化），还能提取和分类演化过程中形成的不同缺陷结构。通过结合多元统计、马尔可夫分析等数学算法，深度学习甚至可以捕捉和识别界面构型演化过程中的瞬态缺陷结构（如亚稳态结构），为直接从实验数据定量分析转变和化学反应的基本机制奠定基础。 对于面缺陷（二维材料中的多相结构，如晶相异质/同质多相、晶相-非晶多相等），其结构更为复杂，不仅需要局部分析，全局分析也必不可少。文章提出，一种可行的解决方案是将物理信息（如坐标、化学物种、周期性）转化为神经网络可以提取和计算的描述符。合适的描述符能显著提高深度学习模型的质量和泛化能力。例如，可以使用“原子位置平滑重叠”作为描述符，结合贝叶斯深度学习，对多样化的多晶体系进行正确分类（图8a, b）。深度学习还能识别包含复杂污染物和各种堆垛多型体的实验STEM图像，提供不同堆垛层沿z方向的相位信息。对于更大面积、更多相（超过三相）的识别，在倒易空间（k空间）进行操作是一个好方案。Vasudevan等人利用深度学习自动预测二维晶体的布拉维点阵类型（图8d），为基于实验的大面积多相识别提供了描述符。
观点七：构建共享数据库、开发合适的物理描述符以及将深度学习用于电镜成像过程优化，是未来重要的发展方向。 在展望部分，文章提出了几个关键的未来发展视角。首先，当前TEM数据在研究特定问题后常被丢弃，造成信息浪费和资源未充分利用，也阻碍了针对特定数据集训练的神经网络快速适应新任务。因此，构建一个全球共享的TEM数据库至关重要。丰富多样的数据集有助于提高深度学习的准确性，并充分挖掘TEM数据的价值，同时有助于解决不同电镜型号、外部环境、操作员等干扰因素带来的问题。 其次，寻找合适的描述符，将物理信息转化为计算机可理解的信息，能更好地探索现象背后的物理机制以及结构与性能之间的关系。这是连接材料科学与人工智能的关键桥梁。 最后，当前的深度学习主要用于拍摄完成后的TEM图像识别。然而，TEM成像是一个复杂过程，最终成像质量与成像过程中的各种参数有关。未来，深度学习可用于成像过程中的参数优化，以获得高质量的TEM图像。例如，深度学习可以帮助从一系列聚焦的TEM图像中重建出射波，优化不同成像机制下的参数。更有前景的是，深度学习可以作为TEM的“大脑”，在操作过程中实时识别图像，并根据识别结果操控电镜完成特定研究，最终实现全自动化。
总结与价值 这篇由Chen Luo、Xing Wu等人撰写的综述系统、全面地总结了深度学习在二维材料原子缺陷TEM图像分析中的最新进展与应用。文章的价值在于： 1. 系统性梳理：清晰勾勒出从传统分析困境到深度学习解决方案的技术发展脉络，涵盖了去噪、点/线/面缺陷识别、定量分析、应用实例等完整链条。 2. 深度洞察：不仅介绍方法，更深入分析了TEM图像的本质特征及其对算法提出的特殊要求，强调了开发专用工具的必要性。 3. 前瞻指导：提出的未来展望（如共享数据库、物理描述符、过程优化与自动化）为领域研究者指明了富有潜力的研究方向。 4. 交叉引领：该文是材料科学、电子显微学与人工智能深度交叉融合的典范，展示了如何利用先进的计算方法释放高端表征仪器产生的海量数据的潜力，推动材料科学研究向更高效、更定量、更智能的方向发展。对于从事相关领域的研究人员而言，本文是一份极具参考价值的路线图和技术总结。