本文作者为I. Lobato、T. Friedrich和S. Van Aert，他们来自比利时安特卫普大学物理系EMAT和NanoLab卓越中心。该研究发表于npj Computational Materials，文章编号为（2024）10:10。

本文属于类型a，即单一原创科学研究报告。

研究背景方面，现代电子显微镜技术（包括扫描电子显微镜（scanning electron microscopes，SEM）、扫描透射电子显微镜（scanning transmission electron microscopes，STEM）和透射电子显微镜（transmission electron microscopes，TEM））虽然极大提升了成像能力，但实验图像质量常受仪器和外部环境引起的随机性及确定性失真（distortion）影响。这些失真可能发生在图像采集、传输或重现阶段，导致难以从样品中提取可靠的定量信息。TEM图像主要受探测器噪声（detector noise）影响，包括散粒噪声（shot noise）、暗电流噪声（dark-current noise）和读出噪声（readout noise），此外还有X射线噪声（X-ray noise）和死像素噪声（dead pixel noise）。S(T)EM图像则是逐点扫描成像，其失真来源还包括扫描抖动（scan jitter）、快速扫描失真（fast scan distortion）、行线噪声（row-line noise）等。传统去噪方法如中值滤波、高斯滤波、布拉格滤波和维纳滤波等空间滤波器，以及非线性迭代维纳滤波、块匹配等复杂算法虽然可以提升信噪比（signal-to-noise ratio，SNR），但在处理单次拍摄（single-shot）图像时存在局限性。近年来，基于卷积神经网络（convolutional neural networks，CNNs）的机器学习方法已成为图像去噪和复原的最先进手段，但现有方法往往依赖于小型模拟或实验数据集，且对不同类型噪声的建模不完整。本研究旨在开发一种能够无需重新训练即可有效补偿单次拍摄电子显微镜图像中各种失真的复原算法。

研究流程方面，作者采用了一种基于串联分组残差密集网络（concatenated grouped residual dense network，CGRDN）的生成对抗网络（generative adversarial network，GAN）方法。该网络架构由生成器（generator）和判别器（discriminator）组成。生成器采用了CGRDN结构，该结构是分组残差密集网络（grouped residual dense network，GRDN）的扩展，包含了残差密集块（residual dense block，RDB）和分组残差密集块（grouped residual dense block，GRDB）。CGRDN对原始GRDN做了两项修改：一是将级联结构替换为特征串联、特征融合和半全局残差连接，以更好地利用层级特征；二是移除了卷积块注意力模块（convolutional block attention module，CBAM），因为在256×256的大图像尺寸训练中该模块收益有限。判别器采用70×70卷积块判别器（patch discriminator），将批归一化（batch normalization）替换为实例归一化（instance normalization），并引入了相对平均GAN（relativistic average GAN）机制。损失函数方面，作者组合了多种损失项：L1损失用于保持定量信息，L2损失用于惩罚离群值，多局部白化变换损失（multi-local whitening transform loss，MLWT loss）用于增强局部细节，傅里叶空间损失（Fourier space loss）用于高频信息，均值和标准差约束损失用于保持物理量，以及相对对抗损失（relativistic adversarial loss）。训练过程分三个阶段：前两个阶段为非对抗训练，分别使用L1损失和像素级损失；第三阶段为对抗训练。使用Adam优化器，学习率从5×10⁻⁵逐步降低到1.25×10⁻⁵。每个epoch需要三天处理时间，使用NVIDIA GTX Titan Volta GPU。训练数据集包含六个不同模态的数据集（低分辨率和高分辨率SEM、STEM、TEM），每个数据集包含250万训练样本和10万验证样本。输入图像尺寸为256×256像素。

数据生成是该研究的关键组成部分。由于实验上只能获取失真数据，作者通过模拟生成合成的无失真-失真图像对进行训练。无失真图像生成包括三个步骤：首先随机选择样品类型（晶体、非晶或独立点），晶体样品随机选择最多16种原子类型和230种空间群之一，并施加物理约束；其次随机选择取向（75%概率为晶带轴方向），并可随机添加楔形、形状（多边形棒、凸多面体、硬形状）和缺陷；最后以95%概率添加支撑层。高分辨率图像的模拟使用原子径向对称函数叠加，每个原子的投影信号被建模为高斯函数、指数函数和Butterworth函数的加权和。TEM噪声模型包括调制传递函数（modulation transfer function，MTF）卷积、光子散粒噪声、固定模式噪声（fixed-pattern noise，FPN）、暗电流非均匀性、读出噪声（包括热噪声、闪烁噪声和重置噪声）、黑像素噪声、zinger噪声、上截断噪声和量化噪声等。S(T)EM噪声模型包括扫描抖动失真（使用Yule-Walker相关方案对时间序列建模）、探测器噪声（用高斯近似散粒分布描述光电倍增管噪声）、快速扫描噪声（建模为探测器点扩散函数和读出系统点扩散函数的卷积）、行线噪声和黑像素噪声。

研究结果方面，作者首先将CGRDN与MR-UNet和GRDN两种先进架构在验证数据集上进行了PSNR（peak signal-to-noise ratio）比较。结果显示CGRDN以7.04M参数获得了36.96 dB的PSNR，优于GRDN的36.90 dB（7.02M参数）和MR-UNet的36.70 dB（51.7M参数）。与块匹配3D滤波（BM3D）算法相比，CGRDN的平均PSNR为36.96 dB，比BM3D的30.45 dB高出6.51 dB。在原子结构定量分析方面，作者进行了三个案例研究。第一个案例是理想的Pt体晶体[001]取向，厚度从2到75个原子不等，用于比较图像复原对原子柱位置和散射截面（scattering cross sections，SCS）测量精度的影响。结果表明，在低剂量（5e2 eÅ⁻²）条件下，CNN复原后的测量精度显著提高，且可以超越Cramér-Rao下限（CRLB），这是因为CNN通过大量训练包含了先验知识。在第二个案例中，作者使用含单位刃型位错的Pt晶体来测试非周期结构，结果表明经过CNN复原后位错的Burgers矢量b=¹⁄₂[110]得以正确保持，原子柱位置和SCS测量精度在高剂量下显著提高。第三个案例是对球状Pt纳米颗粒进行原子计数，结果表明复原后原子柱位置误差降低，SCS测量精度提高，正确计数原子数的比例显著增加。在实验图像复原方面，作者展示了六种不同显微模态（HR-STEM、LR-STEM、HR-TEM、LR-TEM、HR-SEM、LR-SEM）的实验图像复原效果。傅里叶变换分析表明复原后周期性图像的信息含量得到增强。该研究还展示了在多种实验分布偏移（distribution shift）情况下的表现，例如快速扫描失真补偿（成功复原0.05 μs驻留时间的STEM图像）、插值噪声处理和强y抖动失真校正。与AtomSegNet和Noise2Void-NN的对比显示，CGRDN在BaHfO₃纳米颗粒/REBCO超导基体/SrTiO₃衬底界面的STEM图像复原中表现出更优越的性能。

研究结论方面，CGRDN方法在多种失真类型和严重程度组合下均能有效复原单次拍摄电子显微镜图像。重要发现包括：CGRDN仅需7.04M参数即可达到最优PSNR；在低剂量条件下CNN复原可以超越CRLB理论精度极限；正确建模物理噪声模型对实验图像复原至关重要；不准确的噪声模型会导致模糊或伪影。本研究为材料科学和生物学中的结构分析和定量化提供了鲁棒的图像质量增强框架，其应用价值在于可直接应用于实验数据而不需针对特定样品或显微镜设置进行额外训练，且2k×2k图像的复原时间仅为秒级。该研究的亮点包括：（1）提出了一种新的网络架构CGRDN，在保持高效参数利用的同时实现了最优性能；（2）系统性地建模了TEM和S(T)EM中所有主要噪声源和失真源；（3）首次证明单次拍摄图像复原可以超越CRLB；（4）展示了在快速扫描（驻留时间 μs）和气体池（gas cell）等极端条件下的复原能力。此外，作者还开源了代码库（https://github.com/ivanlh20/tk_r_em），提供了额外的复原示例供研究者参考。