利用基于扩散模型的深度学习算法增强超结构成像与体积电子显微镜

背景介绍

电子显微镜（Electron Microscopy，简称EM）作为一种高分辨率成像工具，对细胞生物学取得了重大突破。传统的EM技术主要用于二维成像，尽管已经揭示了复杂的纳米级别细胞结构，但在研究三维（3D）结构时存在一定局限性。体积电子显微镜（Volume Electron Microscopy，简称VEM）作为一种更为先进的技术，通过串联切片和断层扫描技术（如透射电子显微镜TEM和扫描电子显微镜SEM）实现了细胞和组织的3D成像，可以提取细胞、组织甚至小模型生物体的纳米级3D结构。

尽管VEM技术突破了传统二维EM的局限性，但其成像速度和质量之间存在固有的权衡关系，导致成像区域和体积的限制。此外，生成各向同性（isotropic）数据对于VEM来说仍然是一大挑战。目前，VEM通常生成的是各向异性数据，使用尖端的增强型聚焦离子束-扫描电子显微镜（FIB-SEM）技术也只能在较小的体积内（约300μm x 300μm x 300μm）生成各向同性数据。为了克服这些技术限制，研究者们近年来引入了计算方法和深度学习技术，通过这些手段加速成像过程并提高图像质量。

论文来源

这项研究由香港大学化学系、澳大利亚西澳大学分子科学学院和香港大学电子及电气工程系的研究团队合作完成，并在2024年5月20日发表于《Nature Communications》上。论文的作者包括Chixiang Lu、Kai Chen、Heng Qiu、Xiaojun Chen、Gu Chen、Xiaojuan Qi和Haibo Jiang。

研究详情

工作流程

这项研究提出了一个基于扩散模型的深度学习方法，命名为emdiffuse，旨在增强电子显微镜和体积电子显微镜的超结构成像能力。emdiffuse包括一系列算法，用于处理降噪（denoising）和超分辨率（super-resolution）任务，以及生成各向同性的数据集。

降噪处理

emdiffuse的降噪处理部分被称为emdiffuse-n，包括数据收集、图像处理和扩散模型三部分。首先，研究团队获取了不同获取时间的电子显微镜训练对，然后使用分层方法精确对齐和注册噪声图像与参考图像。之后，训练了一个名为udim的扩散模型，消除噪声。

在推理阶段，udim可以根据输入图像生成多个可能的无噪预测结果，以提高预测的准确性和可靠性。研究团队通过对比emdiffuse-n与三种广泛采用的降噪方法（包括care、rcan和pssr）以及两种自监督方法（noise2noise和noise2void），验证了emdiffuse-n在生成具有复杂超结构信息的图像方面的出色性能。

超分辨率处理

在超分辨率任务中，emdiffuse-r用来从低分辨率图像重建高分辨率图像。研究团队获取了一个包含噪声输入与基准数据的鼠脑皮层超分辨率数据集，用于训练和测试emdiffuse-r及其它基准模型。实验结果表明，emdiffuse-r在提高分辨率和辨析详细结构方面表现优于其它方法，成功分辨出近距离突触泡和线粒体嵴。

各向同性重建

emdiffuse还被扩展用于各向同性重建。我们开发了vemdiffuse-i和vemdiffuse-a模型，分别用于从各向异性体积生成各向同性体积。vemdiffuse-i通过从小体积各向同性训练数据生成各向同性数据，vemdiffuse-a则不需要各向同性训练数据，仅使用各向异性训练数据即可完成重建任务。

主要结果

emdiffuse-n的降噪性能

在实验中，emdiffuse-n不仅能生成超高分辨率的噪声图像，还具有自我评估预测可靠性的功能。研究团队通过在训练过程中加入了预测难度评估图，防止困难样本对模型权重产生负面影响，成功提高了模型的稳定性和性能。

emdiffuse-r的超分辨率性能

emdiffuse-r展示了优越的超分辨率能力，尤其是在处理低噪声水平的输入时。经过优化的预测生成方法，emdiffuse-r能够双倍增加图像分辨率，并提供36倍成像速度的提升。

vemdiffuse-i和vemdiffuse-a重建各向同性数据

vemdiffuse-i能够从各向异性数据生成与原始各向同性体积相似的高质量数据，并精确重建器官的结构，例如线粒体和内质网。而vemdiffuse-a则能在无需各向同性训练数据的前提下完成高质量的各向同性数据生成任务，从而使得现有的大型数据集能够用于3D细胞结构的研究。

结论和意义

本研究提出的emdiffuse不仅大大加速了传统EM和VEM的成像过程，同时还显著提高了图像质量。特别是在无各向同性训练数据的情况下，实现了各向异性数据到各向同性数据的重建，这一功能对于许多研究领域具有重要的实用价值。emdiffuse展示了其在各种生物样本上强大的泛化能力和迁移能力，只需一对数据即可完成模型微调。针对不同生物样本的实验结果表明，该方法具有广泛的应用前景，能够推动大体积生物系统内部复杂亚细胞纳米结构的研究，开辟新的科学探索方向。

研究亮点

1. 多功能性：emdiffuse集成了降噪、超分辨率和各向同性重建功能，适应不同的EM和VEM应用需求。
2. 高效性：通过扩散模型的应用，实现了高效的训练和推理过程，大幅提高了图像分辨率和成像速度。
3. 可靠性：加入了自评估功能，能够实时评估预测结果的可靠性，有助于研究人员做出更准确的判断。
4. 广泛适用性：经过验证，emdiffuse能够在不同类型和噪声水平的数据上表现出色，并且能够轻松适应新的生物数据集。

本研究开发的emdiffuse将在未来进一步推动EM和VEM技术的进步，为生命科学领域提供更强大的工具，揭示更为复杂的生物系统内部结构。