分享自:

基于多重注意力机制的图像雨滴去除方法

期刊:journal of computer-aided design & computer graphicsDOI:10.3724/sp.j.1089.2023-00409

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


一、作者及发表信息

本研究由陈羽中(福州大学计算机与大数据学院、福建省网络计算与智能信息处理重点实验室)、林闽沪陈友昆牛玉贞(通信作者)共同完成,发表于《计算机辅助设计与图形学学报》(*Journal of Computer-Aided Design & Computer Graphics*)2025年第37卷第5期。研究标题为《基于多重注意力机制的图像雨滴去除方法》(*Multi-Attention Mechanism for Raindrop Removal from a Single Image*)。

二、学术背景

研究领域:计算机视觉中的图像恢复任务,具体聚焦于单幅图像的雨滴去除(raindrop removal)。
研究动机:雨天拍摄的图像常因镜头附着雨滴导致成像质量下降,影响人眼观感和下游任务(如目标检测、自动驾驶)。现有方法未能充分解决雨滴的空间位置局部性(spatial locality)和尺度多样性(scale diversity)问题,导致去除效果不佳。
研究目标:提出一种结合多重注意力机制(multi-attention mechanism)和多尺度特征提取的深度学习框架,提升雨滴去除的精度与鲁棒性。

三、研究方法与流程

1. 网络整体架构

基于U-Net的编码器-解码器结构,包含3层编码器和解码器。每层由以下核心模块组成:
- 多尺度特征提取模块(MSFE):通过不同卷积核(1×1、3×3、5×5)和深度可分离卷积(depthwise separable convolution)提取多尺度特征,增强对雨滴尺寸多样性的适应性。
- 多重注意力模块(MA):串联像素注意力(pixel attention)、通道注意力(channel attention)和空间注意力(spatial attention),自适应定位雨滴的局部区域。
- 迭代式图像特征融合模块(IIFF):通过两步融合(初步去雨图像生成→特征细化→最终去雨图像)提升特征利用率。

2. 创新模块设计

  • 多尺度特征提取模块
    • 使用深度可分离卷积减少参数量,同时通过普通卷积聚合跨通道信息。
    • 特征拼接后残差连接,保留原始信息。
  • 多重注意力模块
    • 像素注意力:学习每个像素的权重(H×W×C维度)。
    • 通道注意力:通过全局平均池化生成通道权重(1×1×C维度)。
    • 空间注意力:结合平均池化和最大池化生成空间权重(H×W×1维度)。
  • 迭代式特征融合
    • 首次融合解码器特征与雨滴图像生成初步结果;
    • 利用初步结果增强解码器特征,生成细化特征;
    • 二次融合得到最终去雨图像。

3. 实验设置

  • 数据集:RainDrop数据集(训练集861对图像,测试集Test-A 58对、Test-B 249对)。
  • 训练细节
    • 优化器:Adam,初始学习率1×10⁻⁴,余弦退火调整至1×10⁻⁷。
    • 损失函数:结合PSNR(峰值信噪比)和SSIM(结构相似性)的复合损失。
  • 对比方法:包括Qian等(2018)、DURN(2019)、CMFNet(2023)等7种雨滴去除方法,以及2种雨条纹去除方法(Guo等、Cai等)。

四、研究结果

1. 定量结果

  • PSNR/SSIM指标
    • Test-A:PSNR 31.73 dB(对比最优方法提升0.25 dB),SSIM 0.9335。
    • Test-B:PSNR 25.59 dB,SSIM 0.8237,均优于对比方法。
  • 消融实验
    • 多尺度特征提取模块:提升PSNR约0.3 dB(Test-A)。
    • 多重注意力模块:贡献最大(PSNR提升0.6 dB)。
    • 注意力子模块顺序:像素→通道→空间注意力的串联效果最佳。

2. 定性结果(视觉效果)

  • 局部细节恢复:在雨滴密集区域(如窗户、门框),本文方法能更彻底去除雨滴,保留背景纹理(图6、图7)。
  • 对比方法缺陷:DURN残留黑色暗斑,CMFNet存在过度平滑问题,而本文方法平衡了去雨与细节保留。

3. 结果逻辑链

多尺度特征提取→精准定位雨滴(注意力机制)→迭代融合优化→提升全局与局部恢复质量。

五、结论与价值

  1. 科学价值
    • 提出首个结合多尺度特征与三重注意力的雨滴去除框架,为复杂退化图像恢复提供新思路。
    • 验证了注意力机制串行顺序对性能的影响(像素→通道→空间)。
  2. 应用价值
    • 可应用于自动驾驶、监控系统等雨天场景的图像增强。
    • 模块化设计(如IIFF)可迁移至其他图像修复任务。

六、研究亮点

  1. 方法创新
    • 多重注意力模块的串行设计优于并行或单一注意力(对比Zhao等、Cheng等)。
    • 迭代式融合首次在雨滴去除中实现特征双向优化。
  2. 性能突破:在公开数据集上达到SOTA(state-of-the-art)性能。

七、其他价值

  • 开源意义:代码未公开,但方法细节描述充分,具备可复现性。
  • 未来方向:结合Transformer的全局建模能力,进一步解决大尺度雨滴问题。

(注:全文约2000字,涵盖研究全流程与核心贡献,符合学术报告规范。)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com