基于事件相机的可见光通信与定位数据集E-VLC及新型运动补偿方法研究
作者及发表信息
本研究由Shintaro Shiba、Quan Kong和Norimasa Kobori（隶属Woven by Toyota团队）共同完成，论文发表于2025年IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops。
学术背景
可见光通信（Visible Light Communication, VLC）利用调制LED传输数据，是事件相机（event camera）的新兴应用领域。事件相机凭借高时空分辨率（可达1微秒级时间分辨率与百万像素级空间分辨率），能够解码LED信号并实现相机与LED标记间的相对定位。然而，此前缺乏公开数据集以评估不同真实场景下的解码与定位性能。本研究填补了这一空白，提出首个同步事件相机、帧相机及高精度位姿真值的数据集E-VLC，并开发了一种基于对比度最大化框架的运动补偿定位方法。
研究目标包括：
1. 构建多场景（室内/室外、不同亮度、多种相机运动模式）的标准化数据集；
2. 分析事件相机在VLC中的性能优势；
3. 提出解决运动导致LED像素位移问题的定位算法。
研究流程与方法
1. 数据集构建
- 硬件配置：
- 接收端：定制移动记录系统，包含1280×720像素事件相机（Prophesee IMX636）与1280×1024像素帧相机（Basler ACA1300-200um），通过触发盒实现硬件同步（120Hz），结合动作捕捉系统（OptiTrack）提供亚毫米级位姿真值。
- 发射端：40个LED标记（OSPG5111A），采用间隔编码协议（interval-based protocol），基频5kHz，通过微控制器同步控制。
- 场景设计：
- 运动类型：静态、平移、旋转、动态（自由移动）；
- 环境亮度：10~30,000 lux（覆盖室内外极端光照）；
- 相机灵敏度：低、中、高三档参数配置（表3），以平衡LED信号与场景边缘事件的数据量。
- 标注内容：事件数据中的LED边界框、ID及位姿真值，共266K标注（表2）。
2. 定位算法开发
- 基础流程：
- LED检测与解码：基于时间映射（time-map）法，通过事件时间间隔识别LED闪烁模式（公式1）。
- 位姿估计：使用SQPnP算法（无RANSAC）计算相机位姿。
- 创新方法：
- 运动补偿：针对相机运动导致的像素位移，提出结合对比度最大化（contrast maximization, CMax）的补偿框架（图5）。
- 运动估计：利用非LED事件（场景边缘）估计2D平移或3D旋转运动（公式2-3）；
- 事件扭曲：将事件对齐至参考时间点，提升LED检测稳定性。
3. 实验验证
- 基准对比：
- 事件vs.帧相机：在旋转序列中，事件相机（高灵敏度）检测帧数达4185，显著高于帧相机（1038帧），且定位误差相近（0.184m vs. 0.171m，表4）；
- 有效距离：在低光照（600 lux）下，事件相机有效检测距离达12m，而帧相机失效（图7）。
- 运动补偿效果：
- 平移序列中，补偿后定位误差降低30%（从1.105m至0.785m，表5）；
- 动态场景下，高灵敏度数据检测率超90%（图8-9）。
主要结果与逻辑链条
1. 数据集性能：E-VLC覆盖7.5G事件、88K帧数据，验证了事件相机在极端光照与运动条件下的鲁棒性（图6）。
2. 算法优势：运动补偿通过CMax框架有效缓解亮度恒定假设失效问题，提升动态场景定位精度（图9）。
3. 技术突破：LED标记定位在精度上媲美传统AR标记（表4），且具备更广的适用场景（如黑暗环境）。
结论与价值
- 科学价值：首次系统性建立事件相机在VLC领域的评估基准，揭示了高时空分辨率对光学通信的潜力。
- 应用价值：为移动设备（如AR眼镜、无人机）的实时定位与通信提供新范式，数据集开源（https://woven-visionai.github.io/evlc-dataset）推动社区发展。
- 局限性：反射面干扰、负事件延迟（IMX636传感器特性）及计算效率待优化（第6节）。
研究亮点
1. 首创性数据集：同步多模态数据（事件/帧/位姿）与多样化场景设计；
2. 算法创新：将CMax框架扩展至非亮度恒定场景，解决LED与运动数据混合处理的难题；
3. 工程贡献：硬件触发同步方案与高分辨率事件相机配置，为后续研究提供可靠基线。
其他亮点
- 对比分析了不同调制协议（第2节），验证间隔编码协议对负事件鲁棒性；
- 公开LED边界框标注，支持联合开发解码与运动估计任务（第3.3节）。
（注：全文严格遵守术语规范，如“contrast maximization”首次译为“对比度最大化（contrast maximization）”）