学术研究报告：Dual-ADC CMOS图像传感器在单次HDR与3D计算成像中的应用

作者及发表信息
本文由Rahul Gulve（IEEE学生会员）等多位学者合作完成，主要作者来自加拿大多伦多大学（University of Toronto）电气与计算机工程系及计算机科学系，合作单位包括AlphaWave Semi、Stathera Inc.等。研究发表于IEEE Journal of Solid-State Circuits，最早于2022年11月提交，2023年4月定稿，最终于2023年5月正式收录。

研究背景与学术目标

本研究属于计算成像（Computational Imaging）与CMOS图像传感器（CIS）设计的交叉领域。近年来，计算成像技术（如智能手机中的多帧合成HDR）因依赖多次拍摄与软件后处理，在动态场景（如快速运动或光照变化）中易产生运动伪影（motion artifact）。现有的高速图像传感器虽能减少伪影，但存在信噪比（SNR）低、功耗高、数据率大等问题。

为此，作者团队提出了一种新型双抽头编码曝光像素（Dual-Tap Coded-Exposure Pixel, CEP）的CMOS图像传感器。其核心目标是：
1. 通过单次曝光实现高动态范围（HDR）成像（>101 dB动态范围），避免传统多帧合成的延迟与伪影。
2. 兼容单次3D结构光成像，通过编程像素曝光代码（“固件”），实现传感器的多功能可配置性。
3. 通过全NMOS数据存储像素（Data-Memory Pixel, DMP）设计，缩小像素尺寸（7 µm间距），提升子曝光速率至39,000次/秒。

技术方法与工作流程

1. 传感器硬件设计

(1) 双抽头编码曝光像素（DMP）
- 架构创新：传统CEP需在像素内存储曝光代码，导致PMOS晶体管过多，增大面积与延迟。本研究采用全NMOS设计，通过外部行/列信号（row_load和code）动态控制电荷转移，无需片内存储，像素尺寸缩小至7 µm（比同类设计小3.24倍）。
- 电荷分配：每个像素包含两个电荷收集节点（Tap1和Tap2），通过转移门（TG1/TG2）按代码分配光生电荷，确保无信号损失（对比单抽头设计的电荷丢弃问题）。
- 高速操作：子曝光时间低至25.6 µs（对应39 kHz子曝光率），支持每帧900次子曝光（30 fps时）。

(2) 双模ADC读出
- ADC1：16位Σ-Δ调制器，用于帧结束后高精度数字化像素电压（100 fps，功耗107 mW）。
- ADC2：1位强臂比较器（StrongARM Comparator），在子曝光期间实时比较像素电压与参考电压，生成二进制反馈信号，用于动态调整曝光代码。

2. 片上掩码生成系统

通过65 nm CMOS工艺的掩码生成IC（集成RISC-V处理器、哈夫曼解压引擎等），支持三类曝光代码生成：
- 简单模式：扫描线、滑动窗口、伪随机码。
- 解析模式：通过算法生成（如同心圆图案）。
- 复杂模式：基于哈夫曼压缩的预编程掩码（如镜头畸变补偿）。

3. 实验验证

(1) 单次自适应HDR成像
- 原理：结合ADC1（高精度）与ADC2（高速反馈），动态调整像素曝光时间。当某像素电压达到90%饱和值时，ADC2输出代码将其电荷切换到Tap2，避免饱和。
- 结果：动态范围扩展57 dB（原生44 dB→101 dB），无SNR骤降（图13）。图12展示了亮暗分区场景下单次曝光的HDR重建效果。

(2) 单次3D结构光成像
- 方法：在4个子曝光内投射4种优化后的Bayer式照明图案（通过光学随机梯度下降法优化），利用双抽头分离信号。
- 结果：相比传统解析图案，优化图案显著提升深度图精度（图14）。

主要结果与结论

1. 性能参数

   • 像素对比度达96.8%（39 kHz子曝光率），ADC1 SNR 63 dB（10.1位有效精度）。
     
   • 原生动态范围44 dB，自适应编码后提升至101 dB。
     

2. 科学价值

   • 算法-硬件协同：通过双ADC与实时代码反馈，实现了真正的单次HDR成像（无多帧延迟）。
     
   • 通用性：同一硬件通过掩码重编程支持HDR与3D成像，验证了“可配置计算成像”理念。
     

3. 应用前景

   • 消费电子：智能手机、VR/AR设备的实时HDR与3D感知。
     
   • 工业与医疗：快速运动场景（如自动驾驶）的高精度成像。
     

研究亮点

1. 全NMOS像素设计：首次在双抽头CEP中消除PMOS，面积缩小至3.24倍，速度提升1.7倍。
   
2. 39,000次/秒子曝光率：迄今最高速的像素级编码曝光传感器。
   
3. 单次HDR与3D成像的硬件统一：通过掩码编程切换功能，降低系统复杂度。
   
4. 低功耗架构：双ADC分工（高速1位+高精度16位）平衡性能与能效。
   

其他创新

• 噪声补偿技术：通过数字回归（Digital Regression）抵消复位噪声，避免传统CDS（相关双采样）的填充因子损失。
  
• 工艺兼容性：基于110 nm CIS工艺，无需特殊HDR像素制造技术，适合低成本量产。
  

此项研究为计算成像提供了高性能硬件平台，其设计方法论（如动态曝光控制、算法-硬件协同）可能启发新一代智能视觉传感器的发展。