基于事件增强的smhc帧去模糊技术研究学术报告

一、作者信息及发表情况

本研究由来自多所知名高校和研究机构的团队完成，主要作者包括：北京大学计算机学院的Mengyue Geng、Ruiqin Xiong和Yonghong Tian教授（通讯作者），北京师范大学人工智能学院的Lizhi Wang副教授，北京理工大学计算机科学与技术学院的Lin Zhu副教授，以及鹏城实验室的Wei Zhang研究员。其中Yonghong Tian研究员还同时在北大深圳研究生院电子与计算机工程学院和鹏城实验室任职。该研究已被顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence接受发表（DOI:10.1109/TPAMI.2024.3465455）。

二、学术背景

这项研究属于计算摄影（Computational Photography）和计算机视觉（Computer Vision）交叉领域，聚焦于解决snapshot mosaic hyperspectral cameras (SMHCs，快照马赛克高光谱相机)在动态场景中容易产生模糊的问题。SMHCs通过在每个像素上集成窄带光谱滤光片阵列，能够在单次曝光中同时获取丰富的空间和光谱信息，已广泛应用于农业、林业和医疗等领域。

然而，由于窄带滤光片会显著降低入射光能量，SMHCs需要更长的曝光时间，这使其在拍摄动态场景时特别容易产生运动模糊。这种模糊问题与SMHCs设计初衷（快速获取运动和光谱信息）直接矛盾。虽然已有许多针对RGB或灰度相机的去模糊算法，但它们大都忽略了SMHCs特殊的马赛克滤光片阵列和光谱信息恢复的需求，难以直接应用于SMHCs。

针对这一挑战，研究团队创造性地提出了一种”硬件-软件协同”的解决方案：将SMHCs与神经形态事件相机（Event Camera）相结合，通过事件提供的高频运动信号来辅助SMHC帧去模糊。该研究的主要目标是：（1）建立SMHC帧与事件信号之间的光谱感知关系模型；（2）开发能够有效处理SMHC特殊数据特征的深度学习网络；（3）解决实际系统中存在的噪声问题。

三、详细研究流程

3.1 光谱感知的事件双积分(SEDI)建模

研究首先从理论上分析了传统的event-based double integral (EDI，基于事件的双积分)模型应用于SMHCs的局限性。传统EDI模型隐含假设帧相机和事件相机具有相同的光谱响应(量子效率)曲线，然而SMHCs的多波段滤光片阵列使其与事件相机存在显著的光谱响应差异。

为解决这一问题，研究团队提出了spectral-aware EDI (SEDI，光谱感知的双积分)模型。该模型通过引入连续权重函数w(λ)=qes(λ)/qee(λ)（qes和qee分别表示SMHC和事件相机的量子效率），建立了两个相机之间的信号联系。推导结果表明：

bs = wslsde 

其中bs是模糊的SMHC帧，ls是潜在的清晰帧，de是事件的双积分，ws=w(λ′c)/w(λc)是一个与光谱相关的系数。这一理论模型为后续网络设计提供了物理基础。相比传统EDI，SEDI明确考虑了相机间光谱响应不一致的问题，为光谱信息恢复提供了理论指导。

3.2 扩散模型引导的噪声感知(DNA)框架

针对实际系统中SMHC帧和事件数据存在的复杂噪声问题，研究团队提出了diffusion-guided noise awareness (DNA，扩散引导的噪声感知)训练框架。该框架基于两个关键观察：（1）去模糊网络的预测误差与输入数据噪声高度相关；（2）学习建模预测误差分布可以反过来为去模糊网络提供噪声感知特征。

DNA框架包含三个组件：（1）带编码器-解码器结构的去噪网络fθ；（2）轻量级条件编码器gφ；（3）去模糊网络hψ。训练时，gφ从输入数据(b,e)中提取噪声感知特征fc，这些特征被hψ用于去模糊。同时，fθ以fc为条件，学习建模hψ的预测误差分布p(l-hψ(b,e)|b,e)。训练目标函数为扩散模型的损失函数：

ldna = E(b,e,l),t,ϵ[∥ϵ-fθ(√(1-αt)ϵ+√αt(l-hψ(b,e,sg(fc))),√αt, fc)∥1] 

DNA的关键创新在于：训练完成后可丢弃计算密集型的fθ，仅保留轻量级的gφ和hψ用于推理。这样既能利用扩散模型强大的分布学习能力，又避免了推理时的大量计算开销。实验表明，DNA仅增加0.4M（约5%）参数就能带来超过1.0 dB的性能提升。

3.3 事件增强的高光谱帧去模糊网络(EVHDNet)

基于SEDI模型和DNA框架，研究团队进一步设计了event-enhanced hyperspectral frame deblurring network (EVHDNet，事件增强的高光谱帧去模糊网络)。该网络采用双分支结构：

1. 事件积分分支：计算事件的双积分de； 2. 系数估计分支：估计光谱相关系数ws。

网络包含两个关键模块： 1. MASA(马赛克感知的空间-光谱注意力)：通过先反马赛克操作分离空间和光谱信息，分别计算通道注意力和空间注意力； 2. EFMG(事件-帧互门控)：通过相互门控机制有效融合事件和帧模态特征。

EVHDNet遵循SEDI模型的物理基础，通过bs/(wsde)计算清晰帧，而非直接回归。这种设计降低了学习难度，提高了性能。

3.4 实验验证

研究团队构建了两类数据集进行验证：

1. 合成数据：基于GoPro数据集，通过光谱上采样模拟SMHC帧，使用ESIM模拟器生成事件。

2. 真实数据：搭建了SMHC-事件相机混合系统原型（Ximea MQ022HG-IM-SM4X4-VIS2 SMHC相机+Celex-V事件相机），捕获了包含42,306帧的实拍数据集，涵盖多种室内外场景。数据采集时，通过11帧平均合成模糊帧，中间帧作为清晰真值。数据集包含3,846对模糊-清晰帧，平均每对含0.21M事件。

实验对比了多种帧基方法（MPRNet、Restormer等）、事件基方法（EDI、ESL-Net++等）以及它们的事件增强版本。评估指标包括： - 空间保真度：PSNR、SSIM - 光谱保真度：SAM（光谱角度映射）、MSID（平均光谱信息散度）

为评估真实动态场景下的性能，还测试了无参考图像质量评估指标（BRISQUE、NIQE等）。

四、主要研究结果

4.1 合成数据结果

在GoPro合成数据集上，DNA+EVHDNet取得了最佳性能： - PSNR：38.91 dB（比次优方法EFNet高0.48 dB） - SSIM：0.9941 - SAM：0.0361

比较发现：（1）使用事件输入的方法普遍优于仅用帧的方法；（2）原始EDI模型几乎无效（29.95 dB），验证了光谱响应不一致问题的存在；（3）EVHDNet相比单分支网络PSNR提升1.66 dB，验证了双分支设计的有效性。

4.2 真实数据结果

在实际拍摄数据上，DNA+EVHDNet同样表现最优： - PSNR：37.72 dB（比次优方法Restormer*高0.7 dB） - SSIM：0.9873 - SAM：0.0406 - MSID：0.0076

值得注意的是：（1）Transformer架构（如Restormer）在真实数据上表现优于CNN（如NAFNet），可能因其对复杂噪声具有更好的鲁棒性；（2）在无参考评估（BRISQUE等）中，本方法也取得了最佳分数，展示了实际应用价值。

4.3 消融实验结果

1. DNA框架：相比无DNA的基线，PSNR提升1.05 dB（37.72 vs 36.67 dB）；
2. EVHDNet设计：
   • 双分支比单分支提升1.66 dB
   • MASA+EFMG组合最佳（比CBAM+EICA高0.56 dB）

实验还验证了丢弃DDPM去噪器的合理性：保留它反而会引入噪声（PSNR下降1.5 dB），证实了DNA设计的合理性。

五、研究结论与价值

这项研究通过创新的硬件-软件协同方法，有效解决了SMHCs在动态场景中的模糊问题。其主要价值体现在：

科学价值： 1. 首次建立了考虑相机间光谱响应差异的SEDI理论模型，为光谱信息恢复提供了新思路； 2. 提出了DNA训练框架，开创性地利用扩散模型进行噪声特征学习而非数据生成； 3. 设计了针对SMHC特殊数据特性的EVHDNet，其中的MASA和EFMG模块具有推广价值。

应用价值： 1. 提高了SMHCs在动态场景中的实用性，使其在农林、医疗等领域能够获取更高质量的影像； 2. 构建了首个真实的SMHC-事件相机数据集，填补了该领域空白； 3. 计算效率高（1.262G FLOPs），适合实际部署。

六、研究亮点

1. 方法创新：首项研究事件引导的光谱信息恢复工作，提出完整的硬件-算法解决方案；
2. 理论贡献：提出SEDI模型，修正了传统EDI在SMHC应用中的理论局限；
3. 技术创新：DNA框架以极小计算开销（0.4M参数）显著提升模型鲁棒性；
4. 系统构建：搭建混合相机系统原型，贡献首个真实SMHC去模糊数据集。

该研究不仅解决了SMHCs的具体实际问题，其提出的SEDI模型和DNA框架对其他多模态成像和计算摄影任务也有重要参考价值。特别是噪声感知特征学习的思想，可能为其他低层视觉任务提供新思路。