关于《Self-supervised machine learning framework for high-throughput electron microscopy》研究的学术报告

一、 主要作者、机构及发表信息 本研究由Joodeok Kim、Jinho Rhee（共同第一作者）、Sungsu Kang、Mingyu Jung、Jihoon Kim、Miji Jeon、Junsun Park、Jimin Ham、Byung Hyo Kim、Won Chul Lee（通讯作者）、Soung-Hun Roh（通讯作者）和Jungwon Park（通讯作者）合作完成。作者团队主要来自韩国首尔国立大学（School of Chemical and Biological Engineering, Institute of Chemical Processes; Center for Nanoparticle Research, Institute for Basic Science; School of Biological Sciences, Institute of Molecular Biology and Genetics）、汉阳大学（Department of Mechanical Engineering）、松石大学（Department of Materials Science and Engineering）等机构。该研究成果以题为《Self-supervised machine learning framework for high-throughput electron microscopy》的研究论文形式，于2025年4月2日发表于学术期刊 Science Advances (Sci. Adv. 11, eads5552)。

二、 学术背景与研究目的 本研究属于材料科学与结构生物学交叉领域，聚焦于电子显微镜（Electron Microscopy, EM）成像技术的核心挑战。透射电子显微镜（Transmission Electron Microscopy, TEM）和扫描透射电子显微镜（Scanning TEM, STEM）因其极高的时空分辨率，已成为在原子和分子水平揭示材料结构、性质关系及动态过程的关键分析手段。然而，电子束本身对样品具有损伤性，即使在使用低剂量成像技术时，这种损伤也难以完全避免。低剂量成像会导致图像信噪比（Signal-to-Noise Ratio, SNR）极低，产生严重的泊松噪声。此外，像素化探测器的限制、样品漂移等因素也会引入模糊和额外噪声，这些因素共同构成了当前（S）TEM成像的“信息极限”。

为了突破这一极限，传统的硬件改进（如球差/色差校正器、直接电子探测器）虽有效，但成本高昂且存在物理极限。因此，通过软件方法进行图像后处理，从固有噪声中解卷积出目标信息，成为一种重要的补充策略。尽管已有多种基于神经网络的图像去噪方法被开发，但它们大多依赖于“干净-噪声”图像对进行监督训练。在实际的、特别是原位（in situ）EM实验中，获取无噪声的“真实”参考图像极其困难，这限制了现有方法在真实、复杂实验场景中的应用。

基于此，本研究旨在开发一种全新的、无需干净参考图像的自监督（Self-supervised）去噪框架。该框架的核心目标是：仅利用含有固有噪声的单一原始图像数据集进行训练和去噪，从而适用于数据量有限（如原位动态过程）且无法获取地面真实（ground-truth）数据的场景。最终，通过提升低剂量、高时间分辨率EM图像的质量，实现对多种材料系统（如液态环境中的纳米颗粒、单原子催化剂、冷冻细胞样品）进行明确、高通量的结构分析。

三、 详细研究流程与方法 本研究的工作流程系统而严谨，主要包括框架设计、模拟验证、多场景实际应用和性能评估四个主要阶段。

1. 去噪框架（SHINE）的设计与核心算法 研究团队提出了名为“SHINE”（Self-supervised High-throughput Image denoising NEural network for electron microscopy）的自监督去噪神经网络框架。其核心创新在于引入了可调节的盲点（Blind-Spot）机制，并仅使用含噪声的原始视频序列（时间序列图像）进行训练。

• 网络架构与盲点机制：SHINE基于一个高效的盲点卷积神经网络（CNN）架构。该网络采用扩张卷积（Dilated Convolution）来创建一个“盲点”区域。在训练时，网络在预测某个中心像素的值时，无法“看到”该像素及其周围特定范围内（盲点大小）的像素值。这种设计迫使网络学习从更广泛的上下文信息（盲点区域外的像素以及相邻时间帧）中推断出中心像素的真实信号，而不是简单地复制输入噪声。盲点的大小并非固定，而是根据每个数据集的噪声特性动态确定。
• 噪声统计估计与盲点大小确定：这是SHINE方法的关键步骤。由于不同成像模式（如液态细胞TEM、时间序列STEM、冷冻电子断层扫描Cryo-ET）产生的噪声空间相关性不同，作者提出通过计算两幅原始噪声图像之间的二维空间互相关热图来估计未知的噪声统计特性。该热图显示了噪声在空间上的影响范围。例如，如果噪声在四个像素距离内呈现高相关性，则意味着噪声会影响一个9×9像素的区域，因此应选择9×9的盲点尺寸以获得最佳去噪效果。这一步骤确保了网络能够针对特定成像条件进行优化。
• 训练策略与损失函数：SHINE采用视频去噪策略，输入为五帧连续图像（当前帧及前后各两帧），利用时间信息辅助去噪。网络使用均方误差（MSE， L2损失）作为损失函数进行训练。对于每个数据集，使用其自身的噪声图像进行训练和推断，生成一个专用的去噪模型，无需任何外部干净数据。训练过程中采用了数据增强（随机裁剪、旋转、镜像）以防止过拟合。

2. 基于模拟数据集的验证 在应用于真实实验数据前，研究者首先使用三个模拟的TEM数据集验证SHINE的有效性，并与传统方法（如BM3D）及其他自监督深度学习方法（如Noise2Void, N2V; UDVD）进行对比。 * 模拟对象与条件： * 硅氮化物液态细胞中金纳米颗粒生长模拟：使用LPtemsimulator生成Au纳米颗粒在液体中布朗运动及生长的时序列图像。 * 石墨烯液态细胞中铂纳米颗粒旋转模拟：使用CLTEM模拟Pt纳米颗粒在水溶液中的旋转和平移运动。 * 二氧化铈负载铂纳米颗粒迁移模拟：使用CLTEM模拟Pt纳米颗粒在真空条件下的随机移动和漂移。 * 评估方法：由于模拟数据具有已知的“干净”地面真实图像，研究者可以定量评估去噪效果，使用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为客观指标。 * 关键发现：结果显示，根据噪声相关图确定的优化盲点尺寸（如9×9或3×3）的SHINE网络，在视觉质量和PSNR/SSIM指标上均显著优于其他对比方法。例如，在Au纳米颗粒生长模拟中，9×9盲点SHINE将PSNR提升了近20 dB，SSIM提升了0.6。这证明了根据噪声统计自适应选择盲点尺寸的重要性，能有效避免噪声过拟合，成功恢复被噪声掩盖的原子柱和颗粒形状。

3. 在多类原位（S）TEM及冷冻电镜中的应用 验证成功后，SHINE被应用于四类极具挑战性的真实低剂量EM实验数据中。 * 应用一：石墨烯液态细胞中Au纳米颗粒溶解的原位TEM观测 * 研究对象：封装在石墨烯液态细胞中的Au纳米颗粒在液体环境中的溶解过程。 * 处理流程：从包含快速动态过程（2.5 ms/帧）的视频中选取100帧进行训练。根据噪声相关图确定使用3×3盲点。 * 结果：SHINE（3×3）有效去除了噪声，显著增强了晶格对比度，使单个帧中纳米颗粒的边界和晶格结构清晰可见。基于去噪后的图像，研究者能够精确追踪每个时间点纳米颗粒的尺寸变化和(111)晶面的取向角度，揭示了其逐步溶解和旋转的动态过程。信噪比分析显示，去噪后图像SNR提升了近15 dB。 * 应用二：硅氮化物液态电化学细胞中MoS2催化析氢反应（HER）的原位TEM观测 * 研究对象：MoS2单层催化剂上氢气泡的生成过程。 * 处理流程：对 noisy 时序图像进行训练，使用确定的3×3盲点。 * 结果：SHINE显著提升了图像对比度，使得MoS2薄膜下方生成的气泡区域与MoS2及硅氮化物窗口材料得以清晰区分。线强度剖面分析证实，去噪后的图像能够解析出MoS2薄膜、气泡和基底之间清晰的强度差异，而其他方法则无法做到。 * 应用三：碳膜液态细胞中Pd纳米颗粒生长的原位TEM观测 * 研究对象：电子束诱导Pd(acac)2前驱体形成Pd纳米颗粒的生长过程。 * 处理流程：使用100帧子采样图像训练，盲点尺寸为3×3。 * 结果：SHINE去噪极大增强了Pd纳米颗粒与背景（碳膜和液体）的对比度。对去噪图像进行简单二值化处理后，可以近乎完美地将纳米颗粒从背景中分割出来，从而能够轻松、自动地统计分析纳米颗粒的平均尺寸、尺寸分布标准差以及视野内的颗粒数量随时间的变化，为生长动力学研究提供了可靠数据。 * 应用四：Pt单原子在MoS2薄膜上沉积的时间序列STEM观测 * 研究对象：不同像素驻留时间（5 μs和10 μs）下，沉积在MoS2薄膜上的Pt单原子的运动。 * 处理流程：由于样品漂移导致噪声相关性呈不对称分布，根据相关热图确定了5×5的盲点尺寸。仅用20帧图像进行训练。 * 结果：5×5盲点的SHINE成功去除了由漂移引起的结构化噪声，恢复了清晰的原子位置。即使在极短的照明时间内，去噪后的图像也允许通过ImageJ的局部最大值自动选取功能，精确定位所有帧中的Pt原子位置，并追踪其时间分辨的运动轨迹。 * 应用五：全细胞冷冻电子断层扫描（Cryo-ET） * 研究对象：大鼠神经元细胞的冷冻电子断层扫描倾斜系列图像。 * 处理流程：估计噪声统计后，使用5×5盲点对倾斜系列图像进行去噪，并与另一流行去噪工具Topaz-Denoise AI进行比较。 * 结果：SHINE处理后的单帧图像在定量SNR和视觉感知质量上均有显著提升。从去噪后的单帧图像重建的断层扫描图，其对比度和结构细节（如细胞膜、线粒体内结构）的清晰度，甚至优于使用全剂量（未分帧）原始数据重建的断层图或使用Topaz处理的结果。这表明SHINE有望在极低剂量下实现高质量的断层重建，减少电子束对生物样品的损伤。

四、 主要研究结果及其逻辑关联 本研究通过从模拟到真实、从材料科学到生命科学的多层次应用，系统验证了SHINE框架的有效性和普适性。

1. 框架验证结果：在模拟数据集上的定量比较（PSNR, SSIM）证明，SHINE在已知地面真实的情况下，其去噪性能优于现有主流自监督方法。更重要的是，结果明确了根据噪声空间相关性确定最佳盲点尺寸是取得优异性能的关键。盲点太小会导致噪声过拟合，太大则可能损失细节。
2. 原位EM应用结果：
   • 在液态细胞TEM中，SHINE成功恢复了被严重噪声掩盖的纳米颗粒晶体结构、清晰界面和动态变化信息（如尺寸、取向、气泡形态），使得从低剂量、高时间分辨率视频中提取定量动力学参数成为可能。这直接回答了背景中提出的“如何实现损伤最小化的高通量EM”问题。
   • 在时间序列STEM中，SHINE有效克服了由快速扫描和样品漂移引入的复杂噪声，实现了在极短像素驻留时间下对单原子位置的精确识别和追踪。这突破了传统STEM在时间分辨率与信噪比之间的权衡。
3. 冷冻电镜应用结果：在Cryo-ET中，SHINE显著提升了低剂量倾斜系列图像的质量，从而改善了最终三维断层重建的对比度和分辨率。这证明了该框架在结构生物学领域，对高度电子束敏感的生物大分子复合物及细胞器进行低损伤、高分辨率三维结构解析的潜力。
4. 结果的逻辑递进：模拟验证建立了SHINE方法有效性的理论基础和性能基准。随后，在材料科学领域，从相对“简单”的纳米颗粒溶解（应用一），到涉及电化学反应的复杂气液固界面过程（应用二），再到前驱体分解生长的成核过程（应用三），以及原子尺度的表面吸附与运动（应用四），应用场景的复杂性和挑战性逐步增加，SHINE均表现出一致的优越性。最后，将应用拓展至结构生物学的冷冻电镜领域（应用五），证明了该方法的跨学科普适性。这一系列结果层层递进，共同支撑了SHINE能够“促进跨广泛材料谱系的明确高通量结构分析”这一核心结论。

五、 研究结论与价值 本研究成功开发并验证了SHINE——一种基于自监督学习、具有可调盲点架构的高通量电子显微镜图像去噪框架。其主要结论和价值体现在：

• 方法学创新：SHINE的核心价值在于其“自我完备性”。它消除了对昂贵、难以获取甚至不可能获得的干净参考图像数据的依赖，仅需待处理的含噪声原始数据即可完成训练和去噪。这种自监督范式极大地降低了应用门槛，特别适合于数据稀缺或无法获得真实值的原位、动态EM实验。
• 性能卓越：通过自适应估计噪声统计并优化盲点尺寸，SHINE在多种模拟和真实EM成像模式下，均能显著提升图像信噪比和结构对比度，其性能优于已有的自监督去噪方法。
• 应用广泛：研究系统展示了SHINE在液态细胞原位TEM、电化学原位TEM、时间序列STEM以及冷冻ET等多种前沿EM技术中的成功应用。它能够从低剂量、高噪声的图像中恢复出关键的结构和动态信息，从而突破当前（S）TEM的信息极限。
• 推动科学发现：该框架通过实现更清晰、更快速、损伤更低的EM成像，有望在材料科学（如催化过程、纳米材料生长、相变动力学）和结构生物学（如柔性蛋白复合物、细胞原位结构）中催生新的科学发现，加速对原子/分子尺度过程的理解。

六、 研究亮点 1. 新颖的自监督范式：首创了针对EM图像、无需干净参考数据的盲点视频去噪框架，解决了实际科研中监督学习数据难以获取的根本痛点。 2. 自适应噪声建模：提出了通过计算原始图像空间相关性来估计噪声统计、并据此动态确定网络盲点尺寸的策略，使方法能智能适应不同仪器、不同成像条件下的复杂噪声模式。 3. 跨领域、多场景的 rigorous 验证：不仅进行了严格的模拟数据定量对比，更在材料科学和结构生物学最具挑战性的多个真实低剂量EM应用场景中进行了全面验证，证明了其强大的实用性和鲁棒性。 4. 开源与可重复性：作者在Zenodo和GitHub上公开了源代码和数据集，促进了方法的传播、验证和进一步发展。

七、 其他有价值的内容 研究还包含了一些细致的补充分析，进一步增强了论证的严谨性： * 消融研究：探讨了输入帧数对去噪性能的影响，确认了利用时间信息（多帧输入）通常能提升性能，同时平衡了训练效率，最终选择五帧作为标准输入。 * 噪声均匀性验证：通过将整幅噪声图像划分为多个子区域并分别计算其噪声相关性，证实了在真实TEM观测中，噪声在空间上是均匀相关的，从而支持了基于整图噪声相关图来确定盲点尺寸的做法的合理性。 * 与硬件进步的互补性：文章明确指出，SHINE作为一种软件解决方案，与现代EM硬件进步（如像差校正器、直接电子探测器）是互补的，共同致力于实现无损、高信息通量的电子显微成像。

这项研究提出了一种具有变革潜力的EM图像处理新方法，通过巧妙的算法设计，绕过了数据瓶颈，为在极端条件下（低剂量、高时间分辨率）探索物质结构和动态过程提供了强大工具。