基于解混驱动的子空间扩散优化的光谱压缩成像研究

作者与发表信息

本研究由哈佛大学的Haijin Zeng（曾海金）与哈尔滨工业大学（深圳）的Benteng Sun（孙本腾）、Yongyong Chen（陈永勇）、Jingyong Su（苏景勇）、Yong Xu（徐勇）合作完成，通讯作者为Yongyong Chen和Jingyong Su。论文以《Spectral Compressive Imaging via Unmixing-Driven Subspace Diffusion Refinement》为题，发表于ICLR 2025会议。

研究背景与目标

科学领域：本研究属于计算成像（Computational Imaging）与光谱重建（Spectral Reconstruction）交叉领域，聚焦于快照压缩光谱成像（Snapshot Compressive Imaging, SCI）系统的重建算法优化。

问题与挑战：传统SCI重建面临三大瓶颈：
1. 病态性问题：单次观测对应多个可能解，确定性方法难以恢复高频细节；
2. 数据限制：多光谱图像（Multispectral Images, MSIs）训练数据稀缺，直接训练扩散模型（Diffusion Models）成本过高；
3. 维度灾难：MSIs的高维特性导致扩散去噪计算量激增。

研究目标：提出PSR-SCI框架（Predict-and-Unmixing-Driven-Subspace-Refine），通过子空间分解与预训练RGB扩散模型迁移，实现高效高保真的MSIs重建。

研究方法与流程

1. 预测-解混-扩散优化三阶段框架

（1）初始预测（Predictor）

• 输入：二维压缩测量数据（CASSI系统采集，尺寸H×(W+D×(B-1))）
  
• 方法：轻量级Transformer（CST++）或3阶段深度展开网络（DAUHST-3stg）生成粗估计MSI（X_init）
  
• 创新点：通过高斯低通滤波分离低频结构（X_l_init）与高频纹理（X_h_init），保留PSNR关键成分。
  

（2）解混驱动可逆光谱嵌入（URSE模块）

• 核心算法：
  python (a_h_init, e) = ψ_θ(X_h_init) # 分解为丰度图（abundance map）与光谱系数
  
• 关键技术：
  
  • 分层低秩分解：将高维MSI压缩至低维子空间图像（a_h_init∈R^h×w×k, k≪B）
    
  • 可逆性保障：采用”双线性插值+卷积”上采样避免棋盘伪影，PSNR达47.39dB
    
  • 光谱注意力机制：生成光谱系数e用于逆向重建，提升保真度
    

（3）子空间扩散优化

• 扩散模型适配：
  
  • 基于Stable Diffusion 2.1-base预训练模型，添加并行UNet编码器适配MSI数据
    
  • 高维引导机制：在潜在空间采样时引入成像一致性约束：
    math ∇_{z_t} log p_t(z_t|x_init,ϕ,y,e) = ∇_{z_t}||y-ϕ(ψ^{-1}_θ(d(z_0),e)+X_l_init)||^2
    
• 加速策略：仅对高频子空间图像（a_h_init）进行扩散生成，减少90%计算量
  

2. 实验设计

（1）数据集

• 训练集：CAVE数据集（28波段，256×256空间分辨率），通过裁剪、缩放、高斯噪声增强
  
• 测试集：
  
  • 仿真数据：KAIST 10场景（28波段）
    
  • 真实数据：CASSI系统采集的5组MSIs（660×660→裁剪为256×256）
    
  • 零样本测试：ICVL/NTIRE/Harvard数据集
    

（2）评估指标

• 定量：PSNR、SSIM、MANIQA（感知质量）
  
• 定性：光谱曲线相关性、局部纹理对比
  

主要研究结果

1. 性能对比

• KAIST数据集：PSR-SCI-d（基于DAUHST初始预测）取得平均PSNR 37.18dB，较DiffSCI（CVPR 2024）提升2.22dB（表1）
  
• 零样本测试：在NTIRE数据集上SSIM达0.953，MANIQA 0.233，均优于DPU-9stg等基线（表2）
  

2. 关键发现

• 高频细节重建：如图6所示，在487nm波段的面部细节（眉毛、嘴唇）和575.5nm波段的立方体边缘恢复上，PSR-SCI显著优于TSA-Net等传统方法
  
• 光谱保真度：光谱曲线相关系数达0.9973（图7），验证了URSE模块的谱间关系保持能力
  

3. 消融实验

• 模块贡献度（表3）：
  
  • 完整框架PSNR 38.14dB，移除扩散模型降至37.21dB
    
  • URSE模块将推理时间从312.43s缩短至13.79s
    
• 光谱系数e的作用：移除后PSNR下降3.96dB（图10）
  

研究结论与价值

科学价值

1. 方法论创新：首次将光谱解混（Spectral Unmixing）理论与扩散模型结合，建立子空间扩散优化范式
   
2. 计算效率突破：通过URSE模块实现高维MSI到低维子空间的可逆映射，扩散采样时间仅需8.9秒（50步），较DiffSCI提速9.5倍
   

应用前景

• 遥感监测：提升快照式高光谱相机的实时重建能力
  
• 医学成像：在内窥镜光谱成像中实现细胞级纹理恢复（Meng et al. 2020b应用验证）
  

研究亮点

1. 跨模态迁移学习：利用大规模RGB预训练扩散模型解决MSIs数据稀缺问题
   
2. 物理可解释性：URSE模块的光谱分解过程符合线性混合模型（Keshava & Mustard 2002理论）
   
3. 开源贡献：代码与模型已在GitHub开源（https://github.com/smark2022/psr-sci）
   

局限性与展望

当前框架在超大规模MSIs（如1024×1024×128波段）上的计算效率仍需优化。未来可探索：
1. 更高效的扩散调度器（如DDIM）
2. 基于神经辐射场（NeRF）的光谱表征方法
3. 量子化压缩以进一步降低URSE模块延迟