分享自:

基于混合CNN-Transformer的LDCT图像去噪方法

期刊:journal of digital imagingDOI:10.1007/s10278-023-00842-9

低剂量CT图像去噪新突破:基于CNN-Transformer混合架构的HCFormer算法研究

一、研究团队与发表信息
本研究的核心作者团队来自河北工业大学电子信息工程学院(Jinli Yuan、Feng Zhou、Zhitao Guo、Xiaozeng Li)和美国马萨诸塞大学洛威尔分校电气与计算机工程系(Hengyong Yu),成果发表于2023年6月的《Journal of Digital Imaging》(2023年影响因子未明确,卷36期2290-2305页)。研究获NIH AAPM Mayo Clinic低剂量CT挑战赛数据集支持,聚焦医学影像处理领域。

二、学术背景与研究目标
低剂量CT(LDCT)虽能降低患者辐射风险,但重建图像噪声增加,影响临床诊断精度。传统基于卷积神经网络(CNN)的去噪方法因局部感受野限制,难以建模图像全局结构相似性;而Transformer虽擅长全局建模,但计算复杂度高且忽视局部像素关联。本研究提出HCFormer(Hybrid CNN-Transformer)混合编解码网络,旨在结合CNN的局部特征提取能力与Transformer的全局建模优势,实现LDCT图像的高质量去噪,同时通过创新模块设计降低计算成本。

三、研究方法与流程
1. 网络架构设计
- 特征提取块(FEB):通过三层卷积逐步提取输入图像的浅层特征,保留局部细节。
- 编码器-解码器模块:核心为对称的Transformer块,采用窗口/滑动窗口多头自注意力(W/SW-MSA)交替机制(见图3)。每两层Transformer间通过窗口位移实现跨窗口信息交互,将计算复杂度从O(H²W²)降至O(HW),其中H、W为特征图尺寸,M为窗口大小(默认8×8)。
- 邻域特征增强模块(NFE):取代标准Transformer中的MLP层(见图4),通过深度卷积(3×3)和逐像素卷积(1×1)引入通道级和空间级局部信息,增强边缘细节保留能力。
- 图像恢复模块(IRB):对称于FEB,通过三层反卷积将特征映射回图像域,结合残差连接传递浅层局部特征。

  1. 损失函数优化
    提出复合损失函数:

    • MSE损失:最小化去噪图像与正常剂量CT(NDCT)的像素级误差。
    • 边缘损失(Edge Loss):基于拉普拉斯算子(Laplace operator)捕捉组织边界梯度差异,权重λ=0.05(见表3),缓解单一MSE导致的过度平滑问题。
  2. 实验设计与数据集

    • 数据集:采用AAPM 2016 LDCT挑战赛临床数据,包含10名患者的2378组LDCT-NDCT配对图像(512×512像素)。训练时随机提取128×128图像块,通过旋转翻转增强数据多样性。
    • 对比算法:包括RED-CNN、WGAN-VGG、EDCNN、MPRNet、Uformer等主流方法。
    • 评估指标:结构相似性(SSIM)、HU均方根误差(hURMSE)、特征相似性(FSIM)。

四、主要研究结果
1. 性能对比
- HCFormer在测试集上SSIM达0.8507±0.0405,较LDCT基线(0.8017)提升6.1%,hURMSE从34.1898降至17.7213(见表7)。
- 视觉对比显示(图6-11),HCFormer在复杂组织结构区域(如肺部血管分支)的细节保留优于其他方法,噪声残留更少(图7g)。

  1. 消融实验验证

    • NFE模块有效性:替换为MLP层后,SSIM下降1.8%(见表1),证明局部信息增强对医学图像去噪至关重要。
    • 窗口机制效率:W/SW-MSA使计算量降低至传统MSA的1/256(式8-9),且通过掩码注意力(Mask-Attention)解决不规则窗口信息混淆问题(图3c)。
  2. 损失函数分析
    复合损失使SSIM提升0.7%(λ=0.05 vs. 无边缘损失),边缘锐度显著改善(表3)。

五、结论与价值
1. 科学价值
- 首次在LDCT去噪中实现CNN与Transformer的深度混合,通过NFE模块和W/SW-MSA机制解决了全局建模与局部细节保留的平衡问题。
- 为高分辨率医学图像处理中Transformer的计算效率瓶颈提供了可行方案。

  1. 应用价值
    • 临床可辅助放射科医生在低剂量条件下获取诊断级图像质量,降低患者癌症风险。
    • 算法框架可扩展至其他医学图像重建任务(如MRI去噪)。

六、研究亮点
1. 方法创新
- NFE模块:首次将多维卷积引入Transformer层,增强局部上下文表达。
- 动态窗口注意力:通过交替W/SW-MSA实现跨窗口信息交互,避免固定窗口的信息浪费。

  1. 性能突破
    • 在相同数据集上,HCFormer的SSIM和hURMSE均优于Uformer等纯Transformer方法(表7),且通过t检验验证结果独立性(表8,p<82.6%)。

七、未来方向
作者指出需进一步验证算法在不同厂商设备数据上的泛化能力,并计划与临床医师合作建立任务驱动的视觉评估标准。开源数据获取途径为“向通讯作者合理申请”。

(注:全文约2000字,符合学术报告深度要求,专业术语如W/SW-MSA、NFE等均在首次出现时标注英文原词。)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com