基于局部对称性描述符的静态与动态原子分辨率显微数据无监督机器学习分割方法
一、 研究团队、发表信息与学术背景
本项研究由德国马克斯·普朗克钢铁研究所（Max-Planck-Institut für Eisenforschung GmbH）的Ning Wang、Christoph Freysoldt*、Siyuan Zhang、Christian H. Liebscher和Jörg Neugebauer共同完成。该研究成果于2021年发表在期刊《Microscopy and Microanalysis》上。
本研究属于材料科学、电子显微学和机器学习交叉领域，具体聚焦于原子分辨率显微图像的数据分析。随着像差校正扫描透射电子显微镜（STEM）等技术的巨大进步，研究人员能够以原子分辨率对材料进行成像，生成包含晶格缺陷、界面结构等丰富信息的海量数据。然而，如何高效、自动地从这些复杂数据中识别、分类和量化不同的晶体结构模式（例如不同的晶粒、相、缺陷区域），即图像分割，成为一个关键挑战。传统的分割方法（如阈值法、区域合并法）难以有效处理原子图像中由原子柱局部排列主导的、具有特定对称性的晶体图案。虽然监督式机器学习方法在生物图像分割中取得成功，但它们需要大量预先标记的数据进行训练，而这在原子尺度的晶体材料图像中往往难以获得或耗时巨大。
因此，本研究旨在开发一种无监督的机器学习方法，用于分割静态和动态（视频序列）的原子分辨率显微图像。该方法的核心要求是：1) 无需先验知识即可检测成像区域的晶体学特征；2) 对相对较高的噪声水平具有鲁棒性；3) 计算速度快；4) 其每个处理阶段对人类科学家而言都是可解释的。为此，研究者提出了一种基于局部对称性描述符的无监督分割算法。
二、 研究方法与工作流程详述
本研究提出的工作流程主要包括以下几个核心步骤：基于对称性操作的特征提取、特征空间降维、聚类分析、以及针对图像序列的步长上采样和可分性分析加速方案。下图概括了整个流程。
1. 基于对称性操作的特征提取 该方法的核心思想是，不同的晶体图案在局部对称性（即在一定坐标变换下的自相似性）上存在差异。研究者设计了四种适用于二维晶体图案的对称性操作：平移、旋转、反射和滑移反射。对于图像中的每个像素点（作为一个小区域“补丁”的中心），算法会计算一组预设的候选对称性操作（例如多个不同方向和距离的平移向量、多个不同角度的旋转等）的“匹配度”。
具体而言，对于一个以像素(x, y)为中心的图像补丁P_x,y，应用一个候选对称操作O（如平移t）后，会得到一个变换后的补丁O P_x,y。通过计算原始补丁与变换后补丁之间的皮尔逊相关系数来量化该对称操作的匹配度得分r_O(x, y)。该系数值在-1到1之间，值越大表示相似性越高。通过在所有像素点上滑动这个“对称性特征提取器”，可以为图像中的每个位置生成一个高维的局部对称性描述符向量，其中每个维度对应一个特定对称操作的得分。
为了处理不同类型的对称性，研究者采用了两种策略： * 平移对称性描述符：直接计算补丁与平移后补丁的相关系数。当使用所有可能的平移偏移时，会生成一个“局部相关图”，该图在补丁尺寸足够大时近似于完美晶体的自相关函数。这种方法天然具有平移不变性（同一晶体图案内，描述符相似）。 * 旋转/反射对称性描述符：使用圆形补丁和极坐标，计算旋转或反射操作后的相关系数。由于点群对称性（如旋转轴、镜面）在晶体图案内并非处处具有相同值（例如，只在特定原子位置对称性得分高），因此初始的描述符不具备平移不变性。为此，研究者引入了最大池化步骤：在一个以网格点为中心的“池化窗口”内，取该对称性得分的最大值作为该网格点的新特征。通过移动池化窗口，可以生成具有平移不变性的特征图。
2. 特征降维 提取的局部描述符维度很高，但其中只有少数对称性特征对区分图像中不同的晶体模式真正重要，其他特征则更多地包含随机噪声。为了突出主要特征并便于后续处理，研究采用主成分分析对高维特征空间进行降维。PCA找到一组正交基（主成分），能够最大程度地解释数据的总方差。研究者选择保留那些贡献了绝大部分方差（例如80-90%）的前几个主成分作为新的特征（PCA特征），用于后续分析。研究表明，对于噪声图像，增大补丁尺寸有助于平均噪声，使得主要特征集中在更少的主成分上，通过设定方差解释百分比阈值可以在一定程度上自动适应噪声水平。
3. K-means聚类分析 将降维后的PCA特征输入K-means聚类算法。该算法通过最小化簇内平方和准则，在特征空间中寻找聚类中心。每个聚类对应一种特定的晶体图案模式。算法根据每个像素点的特征向量到各个聚类中心的距离，将其分配到最近的簇中，从而为每个像素分配一个图案标签，完成图像分割。用户需要预先指定期望分割的图案数量（即聚类数K）。
4. 针对图像序列的加速策略：步长上采样与可分性分析 为了高效处理包含大量相似帧的原子分辨率视频（如原位实验视频），研究者提出了两种加速方案： * 步长与上采样：对于单张图像或视频帧，无需对每个像素都计算昂贵的描述符。可以采用“步长”策略，只在间隔s个像素的稀疏网格点上计算描述符并进行聚类。然后，对于未计算的像素点，采用最近邻插值的上采样方法，将其标签赋值为最近网格点的标签。这能大幅降低计算成本，同时保持高精度（测试中精度>97%）。 * 可分性分析：对于视频序列，可以先对少数代表性帧（如第一帧）使用大量对称操作进行完整分割，得到准确的图案分类。然后，计算每个对称性操作的费希尔可分性。该指标衡量了某个对称性特征对于区分已识别出的不同图案类别的能力。可分性高的特征是最具判别力的。随后，仅选取可分性最好的少量对称性操作来提取特征，用于分割视频中的所有其他帧。实验表明，即使仅使用2个最优的平移操作，对163帧视频的分割精度仍能保持在95%以上，同时计算时间大幅减少。
三、 主要结果与应用实例
研究者将他们的方法（已打包为Python模块PySTEM）应用于多个实验数据，证明了其有效性和灵活性。
实例一：铁铌金属间化合物双相分割 对包含M相和Laves相的HAADF-STEM图像进行分割。算法成功地将两个相的区域正确标记为不同的图案。分析表明，在该无监督方法中，特征的可分性与方差高度相关。方差大的PCA特征（即主要特征）通常也具有很好的可分性（即信号），而方差小的特征则更像噪声。这种相关性是无监督分割能够成功的关键，它确保了降维后保留的是具有强判别力的信号。
实例二：铜晶界分析——不同描述符的对比 对包含两个不同取向铜晶粒及其间倾斜晶界的HAADF-STEM图像进行分割，并对比了使用反射对称性描述符和旋转对称性描述符的结果。 * 反射对称性描述符：成功将左右两个晶体学取向不同的晶粒分割成不同的图案（绿色和紫色），但未能单独识别出晶界区域。这是因为反射对称性对晶体取向敏感，两个晶粒的反射对称性特征不同。 * 旋转对称性描述符：将两个具有相同旋转对称性的晶粒归为同一图案（绿色），而将晶界区域（其局部旋转对称性被破坏）分割为另一图案（紫色）。此例说明了选择不同的局部对称性描述符，可以捕捉并强调图像中不同方面的结构信息，从而得到符合不同分析目的的分割结果。
实例三：钯纳米晶的复杂结构分割 对电化学蚀刻得到的Pd纳米晶HAADF-STEM图像进行分割，该图像包含孪晶变体、空隙（孔洞）以及沿投影方向堆叠的纳米晶，整体强度（质量厚度衬度）变化显著。使用基于平移的局部相关图描述符，算法仍能保持良好的空间分辨率，成功识别出两种孪晶相（黄色、蓝色），并将孔洞及一些高度模糊的非晶区域标记为第三种图案（红色）。这表明该方法能够处理具有强烈强度变化和非晶区域的复杂图像。
实例四：原位TEM视频分析 将该方法应用于高熵合金在900°C加热过程中去孪晶现象的原位高分辨率TEM视频。在没有任何先验结构知识的情况下，无监督分割能够自动识别出基体和孪晶区域。这为后续定量分析（如去孪晶速度、非共格孪晶界的迁移动力学）奠定了基础。
四、 研究结论与意义
本研究提出并实现了一种基于局部对称性描述符的无监督机器学习方法，用于原子分辨率显微图像（静态图像和动态视频序列）的分割。该方法无需预先标记的训练数据，通过计算局部对称性得分、PCA降维和K-means聚类，能够自主识别图像中具有不同晶体学特征的区域。方法对噪声具有鲁棒性，并提供了步长上采样和可分性分析策略以提升处理大尺寸图像和视频序列的计算效率。
其科学价值在于，为分析海量、复杂的原子尺度显微数据提供了一种自动化、可解释且灵活的工具。它能够帮助研究人员快速可视化材料中的微观结构（如相、晶粒、缺陷），定量测量微结构特性，并通过在分割区域内累积信号来提高其他STEM数据通道的信噪比。此外，分类器的确定性可用于检测区域内的“异常”点，从而有助于发现孤立的缺陷。
五、 研究亮点
六、 其他有价值内容
论文附录详细总结了算法中涉及的超参数（如描述符类型、补丁大小、窗口大小、聚类数、步长等），为用户调整算法以适应不同数据提供了明确指导。此外，附录还给出了快速傅里叶变换实现平移对称性描述符的数学推导和算法示意图，展示了如何利用卷积定理大幅提升计算效率，体现了算法实现上的优化考虑。这些细节对于方法的实际应用和复现至关重要。