分享自:

高时空分辨率的宽带高光谱图像传感器

期刊:natureDOI:10.1038/s41586-024-08109-1

本文档属于类型a,即报告了一项原创研究。以下是基于文档内容生成的学术报告:


作者与机构
本研究的主要作者包括Liheng Bian、Zhen Wang、Yuzhe Zhang等,来自北京理工大学(Beijing Institute of Technology)的复杂场智能感知国家重点实验室(State Key Laboratory of CNS/ATM & MIIT Key Laboratory of Complex-Field Intelligent Sensing)。该研究于2024年11月7日发表在《Nature》期刊上,卷号为635,页码为73。

学术背景
高光谱成像(Hyperspectral Imaging)技术能够捕获目标场景的空间、时间和光谱信息,从而揭示物质的内在光学特性。与多光谱成像(Multispectral Imaging)相比,高光谱成像能够获取更多的波长通道(从几十到几百个),并在空间映射能力上优于光谱仪。然而,现有的高光谱成像系统通常依赖于独立的光学元件(如棱镜、光栅或光谱滤光片)和机械组件进行扫描,导致系统体积大、重量重、成本高且操作耗时。尽管基于压缩感知理论和计算摄影技术的计算式高光谱成像技术(如CTIS和CASSI)能够有效提高时间分辨率,但它们仍然需要独立的光学元件进行显式光调制,限制了其轻量化集成。

本研究的目的是开发一种片上计算高光谱成像框架,通过集成宽带调制材料在图像传感器芯片上,实现高空间和时间分辨率的高光谱成像。该技术旨在将高维成像的挑战从高成本制造和复杂系统转变为通过片上压缩和敏捷计算来解决。

研究流程
1. 材料准备与滤波器阵列(BMSFA)制造
- 研究团队开发了一种基于光刻技术(Photolithography)的宽带多光谱滤波器阵列(Broadband Multispectral Filter Array, BMSFA)制造技术。BMSFA由不同空间位置的宽带光谱调制材料组成,能够调制入射光在宽光谱范围内的信息,从而实现更高的光通量。
- 材料制备包括16种有机染料和6种纳米金属氧化物,覆盖400-1700 nm的光谱范围。通过光刻工艺,将这些材料固化在高透光率的石英基板上,形成BMSFA。

  1. 传感器集成

    • 研究团队将BMSFA与宽带单色图像传感器芯片(如Sony IMX264和IMX990)集成,分别覆盖400-1000 nm和400-1700 nm的光谱范围。通过激光雕刻机去除传感器封装玻璃,并使用光刻胶将BMSFA固化在传感器表面,确保传感器集成的最优化。
  2. 光谱校准与数据采集

    • 使用单色仪(Monochromator)生成单色光,通过功率计探头和传感器进行光谱校准。校准过程包括自动控制单色光波长、采集功率计值并保存传感器测量数据,以构建压缩感知矩阵。
  3. 高光谱图像重建

    • 研究团队开发了一种轻量级高性能神经网络(Spectral Reconstruction Network, SRNet),用于从BMSFA压缩测量中高效恢复高光谱数据立方体。SRNet结合了Transformer和卷积神经网络(CNN)架构的核心特征,采用U-Net形状的架构,并通过光谱注意力模块(Spectral Attention Module, SAM)提取高光谱图像的光谱特征。
    • 训练数据集使用商用高光谱相机(如Figspec-23和GaiaField Pro-N17E-HR)采集,包括96个光谱通道。模型使用Adam优化器进行训练,损失函数包括均方根误差、平均相对绝对误差和总变差(Total Variation, TV)。
  4. 性能验证与应用演示

    • 研究团队通过一系列实验验证了高光谱成像传感器的性能,包括光谱分辨率、空间分辨率、光通量和实时成像能力。
    • 应用演示包括智能农业中的叶绿素和糖含量检测、人类健康中的血氧和水质监测、工业自动化中的纺织品分类和苹果损伤检测,以及天文学中的远程月球探测。

主要结果
1. 传感器性能
- Hyperspeci-V1和Hyperspeci-V2传感器的平均光通量分别为71.8%和74.8%,显著高于常见的RGB相机(<30%)、马赛克多光谱相机(<10%)和CASSI系统(<50%)。
- Hyperspeci-V1在400-1000 nm范围内产生61个通道,每个通道的分辨率为2048×2048像素,帧率为47 fps;Hyperspeci-V2在400-1700 nm范围内产生96个波长通道,分辨率为1024×1024像素,帧率为124 fps。

  1. 高光谱图像重建

    • SRNet模型在光谱重建精度和效率上优于现有的基于模型和深度学习的算法。重建的高光谱图像在宽光谱范围内保持了高光谱精度和丰富的空间细节。
  2. 应用演示

    • 在智能农业中,Hyperspeci传感器能够非破坏性地检测叶绿素含量和苹果的可溶性固形物含量(SSC),精度分别达到3.73%和5.30%。
    • 在人类健康监测中,传感器能够实时检测血氧饱和度和水质变化,与商用血氧仪的结果高度一致。
    • 在工业自动化中,传感器能够准确分类纺织品并检测苹果的损伤,分类精度达到98.15%。

结论与意义
本研究提出的片上计算高光谱成像技术(Hyperspeci)通过集成BMSFA和宽带单色图像传感器芯片,实现了高空间、光谱和时间分辨率的高光谱成像。该技术具有高光通量、轻量化和高集成度的优势,适用于低光环境、动态场景和远程目标检测等应用场景。其科学价值在于将高维成像的挑战从高成本制造和复杂系统转变为通过片上压缩和敏捷计算来解决。应用价值广泛,涵盖智能农业、人类健康、工业自动化和天文学等领域。

研究亮点
1. 创新方法:开发了基于光刻技术的BMSFA制造方法和SRNet神经网络,实现了高效的高光谱图像重建。
2. 高性能传感器:Hyperspeci传感器在光通量、光谱分辨率和实时成像能力上显著优于现有技术。
3. 广泛应用:演示了传感器在多个领域的实际应用,验证了其多功能性和灵活性。


以上报告详细介绍了该研究的背景、流程、结果及其意义,旨在为其他研究人员提供全面的学术参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com