通过互相增强的跨模态图像生成与配准方法进行未对齐PAT和MRI图像的无监督融合
通过互相增强的跨模态图像生成与配准方法进行未对齐PAT和MRI图像的无监督融合
背景和研究目的
近年来，光声断层成像（Photoacoustic Tomography, PAT）和磁共振成像（Magnetic Resonance Imaging, MRI）作为前沿的生物医学成像技术在临床前研究中广泛应用。PAT能够提供高光学对比度和深层成像，但软组织对比度较差；而MRI具有优异的软组织成像能力，但时间分辨率较低。尽管多模态数据融合方面取得了一定进展，但由于图像未对准和空间失真的问题，PAT和MRI图像融合仍具有挑战性。
为了解决这些问题，本文作者提出了一种称为PAMRFuse的分阶段深度学习框架，重点在于未对准的PAT和MRI图像融合。该框架包括一个多模态到单模态的配准网络，用于准确对准输入的PAT和MRI图像对，以及一个自注意力融合网络，用于选择信息丰富的特征进行融合。该研究旨在实现未对准PAT和MRI图像间的信息融合，以便为研究人员提供更完整和详细的目标信息。
论文来源
这篇论文由Yutian Zhong、Shuangyang Zhang、Zhenyang Liu、Xiaoming Zhang、Zongxin Mo、Yizhe Zhang、Haoyu Hu、Wufan Chen（IEEE高级会员）和Li Qi完成，皆来自Southern Medical University及其附属机构。论文发表于2024年5月的《IEEE Transactions on Medical Imaging》。
研究流程和方法
工作流程
PAMRFuse的工作流程分为两个主要部分：多模态到单模态的配准网络和自注意力融合网络。
多模态到单模态配准网络：
- 通过图像合成策略简化图像配准，减少空间偏移和重影。具体来说，该过程使用一个生成对抗网络(GAN)结构。GAN包括一个生成器和判别器，生成器通过残差连接提高生成图像的多样性和质量。
- 合成伪MRI图像用于辅助真实MRI图像和PAT图像的配准，缩小两者间的对准误差。
自注意力融合网络：
- 包括全球路径、局部路径和合并模块。全球路径利用自注意力机制提取全局特征，而局部路径保留细节。最终，这些特征经过合并模块生成融合图像。
- 使用两种对抗判别器区分融合图像与单模态图像，提高融合质量。
多模态图像合成网络
由于PAT和MRI成像环境的差异，导致图像间存在未对准。直接融合未对准的图像会导致重影伪影。因此，研究者提出了通过GAN生成伪MRI图像的方式，使得多模态配准问题简化为单模态配准问题。生成器的架构采用残差连接以提高训练稳定性和图像生成的多样性。判别器则使用多个卷积层提取图像特征并通过全卷积层进行分类，确定生成图像的真实性。
配准网络
该网络利用由图像合成网络生成的伪MRI图像和真实MRI图像生成图像变形场，通过减少多模态配准的计算复杂度，将任务变为单模态配准问题。配准网络的架构类似于U-Net模型，并集成了残差模块以增强网络性能。
自注意力融合网络
融合网络包括三个子模块：全球路径、局部路径和合并模块。全球路径利用自注意力机制建模长距依赖性，同时添加局部路径来保留细节。合并模块将两者提取的特征进行融合，从而生成最终的融合图像。为了进一步区分融合图像的来源，使用了两种对抗判别器分别处理伪MRI和PAT图像。
主要研究结果
定量与定性分析
研究者进行了大量的定量和定性实验，以验证PAMRFuse在小动物PAT-MRI图像中的优秀性能。实验结果显示，PAMRFuse能够有效消除图像未对准的问题，同时保留了MRI的软组织细节和PAT的亮度信息。在对比其他10种先进的融合方法后，PAMRFuse在各种指标上均表现出更高的图像质量和更好的融合效果。
性能指标
通过一系列指标，包括均方误差（MSE）、峰值信噪比（PSNR）、相关系数（CC）等，进一步验证了PAMRFuse的有效性。特别是在高强度亮度信息区域，PAMRFuse在保留原始图像细节的同时避免了信息丢失和图像模糊。
模态图像的变异性分析和消融实验
为验证不同模态图像合成和损失函数的影响，研究者进行了多个消融实验。结果显示，利用GAN生成伪MRI图像并结合全局相关性损失（GCC）和二阶变形场梯度损失（LSmooth）能够显著提高图像的配准精度和整体质量。此外，添加自注意力机制和密集连接的融合网络能够有效选择有意义的特征进行融合，同时保留图像细节。
结论
PAMRFuse首次尝试通过信息融合消除未对准的PAT和MRI图像问题，并取得了显著成果。该方法不仅在图像融合性能上优于传统和现阶段的深度学习方法，还展示了在处理复杂图像融合任务时的广泛适用性。尽管目前在硬件集成系统上的挑战依然存在，但PAMRFuse在多模态图像融合领域提供了新颖且实用的方法，为今后的研究奠定了坚实基础。
研究价值
该研究不仅拓展了多模态图像融合的应用范围，还提出了一种有效的新方法来处理复杂的图像配准和融合任务。PAMRFuse在保留图像细节和丰富信息的同时，提供了高质量的融合图像，对临床前研究和其他领域的应用具有重要意义。