Sun Yat-sen University的研究团队近期在《Advanced Photonics》期刊（2024年5月20日在线发表）上发表了一篇题为“Ultra-wide FOV Meta-camera with Transformer-Neural-Network Color Imaging Methodology”的重要原创研究论文。这项研究主要由Yan Liu, Wen-dong Li, Kun-yuan Xin, Ze-ming Chen, 等组成的团队完成。在此文章中，他们基于转化器（transformer）神经网络及超宽视场（ultra-wide field of view, FOV）的金属透镜（metalens），开发了一款高性能的神经元元相机（neural meta-camera），展示了在紧凑的设备体积下实现超宽视场和全彩色影像的优越能力。

研究背景

随着技术的快速发展，微型化、轻量化以及便携式成像设备成为自动驾驶、内窥镜医学及消费电子等多领域的迫切需求。然而，传统摄像头为了实现大视场（wide FOV）和高质量的成像，依赖于复杂的光学组件进行像差（aberration）校正，这导致装置体积笨重且组装对准精度要求极高。金属透镜因其由亚波长人工微结构组成，展现了高紧凑性及超薄光学性能的潜力，但其像差校正，尤其是色差（chromatic aberration）和离轴单色像差（off-axis monochromatic aberration），仍是一个难题。此外，目前的宽视场金属透镜在成像质量、中心亮斑问题（central bright speckle）和失真（distortion）等方面仍需改进。

基于此，研究团队设计了一种融合知识（knowledge-fused）与数据驱动（data-driven）的神经元元相机，通过借助基于转化器网络的深度学习方法，解决了业内公认的技术瓶颈，从而推动了金属透镜在实际成像系统中的适用性。

研究流程

方法

1. 神经元元相机模型 团队开发出了一款融合了超宽视场金属透镜和转化器神经网络的微型化相机。其设计包括一个基于多尺度（multi-scale）的注意力架构神经网络，这种网络通过 KD（knowledge-fused data-driven）范式进行引导以提升图像质量。在训练初始阶段，该网络利用无监督点扩散函数（point-spread function, PSF）估计获得的先验知识进行初始化；随后根据元相机采集的数据进一步微调。最终，捕获的图像通过图像复原神经网络得以重构为接近真实的全彩图像。

2. 超宽视场金属透镜设计 超宽视场金属透镜采用以射线追踪法优化的相位分布来实现离轴像差校正，其视场角达到140度。金属透镜的直径为1.54 mm，孔径尺寸为220 μm，而数值孔径（numerical aperture, NA）为0.167，工作波长为532 nm。由硅纳米柱（silicon nanopost）构成的超表面被一层硅氧化物（1 μm厚）保护层覆盖，并通过电子束光刻技术（electron beam lithography）和化学气相沉积法（chemical vapor deposition）制作完成，确保高质量的光学性能。

3. KD范式的引入 KD范式分为两个阶段：

   • 第一阶段利用仿真与计算的PSF数据对转化器网络进行初始训练，生成元相机成像中的先验数据集。
   • 第二阶段通过采集的真实场景的数据，进一步驱动和微调神经网络，精准地解决诸如中心亮斑、色差及失真等实际问题。

实验

团队基于两组实验系统验证装置性能： 1. 在非集成金属透镜（未与CMOS传感器固定）联合转化器网络的实验中，研究者通过显微物镜（Olympus MPLFLN10XBD）和适配镜头获取影像并恢复出高质量图像。 2. 在集成神经元元相机的设计中，团队利用9.07×9.07×1.57 mm³的紧凑相机模块进行场景采集测试，图像显示在LCD屏幕上并通过配备的CMOS传感器（IMX335, Sony）记录。

这些实验验证了金属透镜在超宽视场角上的焦点表现，动态对比度改善效果，以及KD范式在解决亮斑和色差问题中的有效性。

研究结果

1. 实验成像质量 原始捕获图像普遍显示中心亮斑及色差问题，而通过采用转化器神经网络复原后，成功消除了亮斑，色差也得到了显著改进。此外，图像对比度在中心和边缘区域分别提升了13.5倍和2.7倍。

2. 分辨率测试 在中心波长为532 nm且角度为0度的成像条件下，金属透镜实现衍射极限分辨率（diffraction-limited resolution）1.55 μm，证明其高分辨率能力。

3. 场景测试 在不同工作距离（1.3 cm、12 cm、44.5 cm）的场景中，复原图像保持了高精度与一致性，且理论峰值信噪比（PSNR）和结构相似性指数（SSIM）指标表明装置具有扎实的性能。

研究意义及价值

这项工作展示了一款功能强大、体积微型化的神经元元相机，其通过结合金属透镜的光学优势与神经网络的计算能力，在成像领域尤其是微导航、内窥镜和片上应用等方面具有极高的应用价值。不仅实现了超宽视场全彩成像，更提供了一种实用且具有推广潜力的微型化成像解决方案。此外，这项研究验证了转化器神经网络在处理复杂成像退化问题中的潜力，为未来实时成像和优化铺设了可能的方向。

研究亮点

1. 这款神经元元相机实现了140度的视场角和全彩色成像能力，同时有效解决了中心亮斑、失真和色差问题。
2. 研究团队提出的KD范式将先验信息与真实数据融合，展示了传统神经网络难以媲美的图像复原能力。
3. 实验表明，与传统大体积透镜相比，该装置在大视场角成像上具备显著优势，并首次在集成化相机模组中达成了相对紧凑的结构设计。

这项研究成果无疑为未来超紧凑、高效成像系统的设计提供了重要的借鉴与启示，为相关领域的学术研究和工业应用带来了重要推动力。