基于事件相机与RGB相机联合传输与去模糊的语义通信方法研究

作者及机构
本研究的核心团队来自浙江大学信息与电子工程学院（Pujing Yang, Guangyi Zhang, Yunlong Cai, Guanding Yu）和武汉大学人工智能学院（Lei Yu）。该研究成果计划于2025年6月在IEEE第101届车辆技术会议（IEEE 101st Vehicular Technology Conference）上发表。

学术背景
本研究属于计算机视觉与无线通信的交叉领域，聚焦于混合相机系统（事件相机与RGB相机）的数据传输与实时去模糊问题。传统RGB相机因固定帧率在动态场景中易产生运动模糊，而事件相机（event camera）通过异步捕捉像素级强度变化，具有微秒级高时间分辨率和低延迟特性。两者结合可提升视觉任务性能，但面临两大挑战：
1. 带宽瓶颈：事件数据量庞大（每个事件需8字节存储），直接传输效率低下；
2. 模态冗余：两种相机捕获同一场景时存在信息重叠，传统分模态传输未利用相关性。
研究目标是通过联合源信道编码（JSCC, Joint Source-Channel Coding）框架，实现事件-图像（E-I）数据的高效联合传输与并行去模糊，同时动态分配带宽以适配场景动态性。

研究方法与流程
1. 数据表示与建模
- 事件数据统一表征：将异步事件流转换为固定尺寸张量 ( x_1 \in \mathbb{R}^{2M \times H \times W} )，通过时间聚合（temporal aggregation）划分曝光区间，计算事件积分（式1）。
- 运动模糊建模：建立RGB图像 ( x_0 )、事件流 ( x_1 ) 与清晰图像 ( t ) 的物理关系模型，推导出 ( x_0 ) 为 ( t ) 在曝光时间内的积分结果，事件流提供动态细节。

1. 联合传输框架JEIT

   • 编码器设计：
     
     • 图像/事件专用编码器（( f_{\theta0}, f{\theta_1} )）提取模态特异性信息；
       
     • 共享编码器（( f_{\theta_2} )）融合双模态特征，消除冗余。
       
   • 动态带宽分配：基于贝叶斯网络和信息瓶颈（Information Bottleneck）原理，解耦共享信息与模态特异性信息，根据场景动态性（如运动强度）自适应分配信道带宽比（CBR, Channel Bandwidth Ratio）。动态场景下更多符号分配给事件数据，静态场景侧重RGB信息。
     
   • 解码与去模糊：接收端通过图像/事件解码器（( g_{\phi0}, g{\phi1} )）重建原始数据，并利用去模糊解码器（( g{\phi_t} )）生成清晰图像（式4）。
     

2. 增强贝叶斯模型（EBM）

   • 引入超先验变量 ( \hat{z}_0, \hat{z}_1, \hat{z}_2 ) 建模空间依赖性，通过变分推断优化目标函数（式21），平衡重构质量、去模糊性能与传输速率。
     

3. 模块创新

   • U型特征融合模块（UFFM）：结合U-Net结构与注意力机制，跨尺度融合双模态特征，保留空间细节。
     
   • 交叉注意力融合模块（CAFM）：在解码端整合共享与模态特异性特征，提升重建精度。
     

主要结果
1. 动态带宽分配有效性：在高速运动场景（如GoPro数据集中的模糊图像），系统自动分配更高CBR给事件数据（如CBR=0.029），静态场景则优先图像（CBR=0.030）（图10）。
2. 性能优势：在相同总CBR（0.086）下，JEIT的图像重建PSNR比基准方法（如EFNet+DeepJSCC）提升17%，去模糊PSNR达30.65 dB（图11）。
3. 消融实验验证：去除共享信息传输或事件输入会导致去模糊性能显著下降（图14），证明联合建模的必要性。

结论与价值
1. 科学价值：首次提出事件-图像联合传输框架JEIT，通过信息解耦与动态带宽分配，解决了多模态数据冗余问题，为语义通信（semantic communications）提供了新范式。
2. 应用价值：可部署于自动驾驶、无人机等实时视觉系统，显著降低传输延迟与带宽消耗。实验显示，在10 dB信道信噪比下，JEIT-t模型以CBR=0.067实现优于传统方法的去模糊效果（图13）。

研究亮点
1. 方法论创新：
- 基于信息瓶颈的贝叶斯网络实现多模态信息解耦；
- 动态CBR分配策略突破固定带宽限制。
2. 技术突破：首次实现E-I数据联合传输与去模糊的端到端优化，PSNR提升显著。
3. 开源贡献：利用ESIM模拟事件数据，代码与模型架构公开（图6-8），推动领域复现。

其他价值
- 提出的JEIT-t变种针对纯去模糊任务优化，模型体积减少30%，为资源受限场景提供轻量级解决方案（式22）。
- 实验覆盖GoPro和ReBlur数据集，验证了泛化能力（图12）。

（注：专业术语如event camera首次出现时标注“事件相机”，后续直接使用中文译名；模型名称JEIT、CBR等保留英文缩写。）