分享自:

受猫头鹰视觉启发的近传感器计算:一种用于低光图像处理的双模式自适应突触器件

期刊:Nature CommunicationsDOI:10.1038/s41467-026-69123-7

本研究由西安交通利物浦大学、利物浦大学、第四军医大学、苏州大学、新加坡国立大学等机构的Zishen Zhao、Yixin Cao、Shuaiwei Huang、Kaiwen Fan、Yuyao Ding、Ganggui Zhu、Linhui Li、Qing Liu、Wei Deng、Chun Zhao和Mario Lanza等研究人员共同完成,成果以“Owl-vision-inspired near sensor computing”为题,于2026年发表在学术期刊《自然·通讯》(*Nature Communications*)上。

这项研究隶属于神经形态计算和仿生光电传感领域,旨在解决传统计算范式和机器视觉在光子匮乏的极端弱光环境下所面临的巨大挑战。背景在于,虽然人工智能系统在复杂认知任务上取得了前所未有的性能,但其能耗极高,远超生物神经系统的效率。生物神经系统,尤其是人脑和猫头鹰等夜行动物的视觉系统,通过高度并行化、自适应和模拟处理,实现了惊人的能效。猫头鹰的视网膜因其高密度的视杆细胞和暗适应能力,能在低于0.01勒克斯(lux)的极弱光环境中清晰成像。当前,基于互补金属氧化物半导体(CMOS)技术的成熟图像传感器在约1勒克斯照度下才能有效感知,对应于约10^-7至10^-8瓦/平方厘米的光强度。现有技术为克服超弱光环境采取了微透镜、抗反射涂层、额外近红外传感、噪声滤波器和图像增强算法等多种后处理技术,但常与主流CMOS技术存在兼容性问题,且软件系统复杂。因此,本研究的目标是受猫头鹰视觉启发,开发一种集光感知与信息处理于一体的新型仿生神经形态器件,为无需辅助照明和后处理、能直接在光子匮乏环境中进行被动目标检测的“近传感计算”硬件奠定基础。

研究的详细工作流程围绕一种新型“猫头鹰启发的双模自适应突触”器件的设计、制备、表征与应用验证展开,主要包含以下几个关键步骤。首先,研究团队设计并制备了名为ODAS(Owl-inspired Dual-mode Adaptive Synapse)的仿生突触器件。该器件采用三端晶体管结构,从下至上依次为:作为透明栅极的氧化铟锡(ITO)、作为介电层的聚乙烯醇(PVA)、作为光吸收层的聚(肉桂酸乙烯酯)与硫化铅纳米晶混合物(PVCN:PbS NCs)、作为源/漏电极的银(Ag,并用五氟苯硫醇PFBT修饰以改善功函数)、作为沟道层的高迁移率有机半导体材料C8-BTBT晶体薄膜。器件的创新性设计关键在于光吸收层和电荷捕获机制的分离。PVCN聚合物用于钝化PbS NCs的电荷俘获态,减少光生载流子复合;PVA层则利用其捕获电子的特性,在栅极电场驱动下,将光生电子非易失性地捕获,从而实现对沟道电流的持久调控,模拟视觉暗适应过程中光子输入的累积效应。器件及阵列的制造方法包括旋涂、热蒸发沉积、刀片涂覆晶体生长等标准微纳加工工艺。为了验证设计并表征材料特性,研究使用了透射电子显微镜(TEM)和能量色散X射线光谱(EDS)对器件截面进行分析,证实了清晰的层状结构和界面。通过X射线光电子能谱(XPS)和吸收光谱分析,证实了PVCN的引入降低了Pb的结合能,增强了PbS NCs在关键波段(尤其是近红外区)的光吸收,支持了其钝化陷阱态的假说。原子力显微镜(AFM)和面内X射线衍射(XRD)则分别证实了薄膜的均匀性和C8-BTBT薄膜的单晶域特性。这些前期表征为确保器件性能奠定了材料基础。

其次,研究系统地表征了ODAS器件的光适应性能和光电突触特性。在光适应性能测试中,研究人员在极低光强度(0.146至11.70纳瓦/平方厘米)下测量了器件沟道电流随时间(适应时间)的变化。结果显示,即使在0.146纳瓦/平方厘米的超弱光下,器件电流仍能在数十秒内持续累积增加,表现出显著的生物类似适应效应。研究定义了器件的光敏度Pt(Photonsensitivity)和主动适应指数AAI(Active Adaptation Index)来量化这一性能。实验测得,在25秒适应时间和0.146纳瓦/平方厘米光强下,AAI最大值达到约331,表明器件在弱光环境下具有极强的正光适应能力,其可感知的最低光强度比传统CMOS光传感器提高了约三个数量级。在光电突触特性测试中,研究使用不同波长(365纳米至940纳米)和不同强度的光脉冲作为输入信号,测试器件的非易失性持续光电流响应。结果表明,ODAS对从紫外到红外的宽光谱范围光脉冲均能产生阶梯状的非易失性电流增益,且电流增益与光脉冲强度正相关,脉冲刺激后的电流衰减率极低(≤1.3%),表现出长期光学信息记忆特性。特别地,在0.146纳瓦/平方厘米的超弱光刺激下,器件仍能保持显著的非易失性电流增益。研究还比较了ODAS与近年来报道的其他光电突触器件,显示ODAS在实现0.146纳瓦/平方厘米弱光检测能力的同时,每次操作的能量消耗低至0.4纳焦耳。此外,器件还展示了“再记忆”能力,即重复学习达到特定突触权重目标所需的脉冲次数逐次减少。

第三,研究验证了ODAS器件的电控突触特性及其在人工神经网络中部署的可行性。通过将栅极电压脉冲作为输入信号,研究人员测试了器件的兴奋性突触后电流响应。施加正电压脉冲可诱导突触权重发生非易失性增加,模拟生物突触的长时程增强;施加负电压脉冲则可诱导权重降低,模拟长时程抑制。器件表现出良好的幅度、宽度、频率和脉冲数量依赖性可塑性,并能在连续30个LTP-LTD循环中保持稳定的高低电导状态,证明了循环稳定性。测试还表明,ODAS能够实现丰富的中间电导态(7比特,128个状态),支持精确的神经网络调控,最高工作频率可达10赫兹。在能量消耗方面,计算得出ODAS每个突触事件的最低能耗仅为9.2飞焦耳,低于生物突触的典型能耗。为了验证器件在神经网络计算中的实用性,研究构建了实际网络模型执行图像分类任务。将ODAS的4比特离散电导态空间映射到多层感知机网络中,并在MNIST手写数字数据集上进行模拟。结果显示,分类准确率在训练集和测试集上均超过90%,网络损失值收敛,证明了将离散化ODAS权重集成到基础神经网络中的可行性。进一步地,研究在MLP、CNN和深度网络VGG16上分别对MNIST、Fashion-MNIST和CIFAR-10三个数据集进行了训练和模拟,验证了该突触器件在多种复杂度网络模型中进行多样化图像分类任务的高泛化能力。

第四,研究构建并演示了一个基于仿生光适应机制的空对地目标识别系统,以模拟和验证ODAS在近传感计算系统中的应用潜力。研究人员模拟了无人机在五个梯度亮度场景下对低分辨率服装目标的识别任务,光强度范围为0.146至11.7纳瓦/平方厘米。首先,通过模拟ODAS的光电流-时间-光强关系,定义了图像对比度随“适应时间”变化的模型,将原始航拍图像预处理为模拟ODAS感知和适应后的图像,构建了用于神经网络训练的数据集。计算模块采用YOLOv5_s目标检测网络,并将ODAS突触矩阵的硬件特性(如读取时间)考虑在内。网络训练结果显示,在不同亮度数据集上,损失函数均能收敛,且亮度越高收敛越快。性能评估表明,随着训练周期增加,目标检测的平均精度均值逐渐提升,在0.146纳瓦/平方厘米弱光环境下,经过自适应对比度增强处理的系统,其目标识别准确率仍能超过95%。分析还显示,系统的识别置信度与数据集的适应时间密切相关,在0.73纳瓦/平方厘米光强下,20秒适应时间内网络对目标的抓取置信度从0上升至0.85。通过与近期报道的人工光学突触在神经网络识别模拟中的性能比较,ODAS在弱得多的光刺激下实现了更高水平的识别准确率,证明了其在黑暗环境中进行目标识别的能力。

本研究的结论是,为了应对神经形态物理视觉系统在超弱光环境中感知与集成方面的重大挑战,研究团队成功研制出具有夜间自适应能力和双模稳定调制特性的ODAS器件,用于近传感计算。通过光生载流子生成与电放大过程的分离,ODAS展现出类似猫头鹰的暗适应能力,具有高AAI和极低的光感知阈值。器件阵列验证了高均匀性和模式适应均一性。在电脉冲调制下,ODAS表现出长时程增强和抑制特性,且单突触事件能耗极低。经多个底层神经网络验证,ODAS在图像分类任务中实现了稳定的高准确率。此外,基于无人机的空对地目标识别系统演示表明,通过模拟自适应对比度优化,基于ODAS的近传感计算系统能在极弱光环境中实现超过95%的目标识别准确率,为无需辅助照明的夜间机器视觉提供了一种感知-计算融合的解决方案。

此项研究的科学价值与应用价值显著。在科学上,它成功地将生物视觉的暗适应机理(光子累积、灵敏度动态调节)转化为具体的、可工程化的光电突触器件物理机制(光生载流子分离、非易失性俘获与栅控调制),深化了仿生神经形态器件设计理论。它提出并验证了“光-电解耦”的器件架构,为实现并行光子感知与电塑性模拟提供了新思路。在应用上,该工作将神经形态视觉传感器的探测极限推进至暗视觉级别的照度,验证了未来近传感计算物理架构集成的可行性。其展示的低能耗、弱光感知与处理一体化能力,在精密制导、智能监控、预警、夜间搜救、深空探测等广泛领域具有巨大的应用潜力,为实现真正意义上的“边缘智能”视觉传感器奠定了硬件基础。

本研究的亮点在于:第一,高度的仿生创新性:直接从猫头鹰卓越的夜视能力中汲取灵感,并将其暗适应、宽光谱感知等核心生物学原理转化为器件的工作机制,实现了从生物原理到硬件功能的有效映射。第二,卓越的性能指标:器件实现了0.146纳瓦/平方厘米的超低光感知能力(比成熟CMOS技术低约3个数量级)、高达331的主动适应指数、宽光谱响应(365-940纳米)以及仅9.2飞焦耳的单突触事件超低能耗,综合性能处于领先水平。第三,完整的验证链条:研究不仅停留在器件层面,还系统地进行了材料表征、光电性能测试、阵列均一性验证、神经网络算法模拟以及基于实际应用场景(无人机目标识别)的系统级演示,构成了从底层器件到上层应用的完整闭环验证,说服力强。第四,巧妙的光电双模设计:器件既能以光脉冲作为输入模拟感知与记忆,也能以电脉冲作为输入模拟学习与权重更新,这种双模特性使其能更灵活地适应不同的计算范式和应用需求。第五,对实际工程挑战的关注:研究评估了器件阵列的均匀性、循环稳定性、温度湿度环境稳定性以及读取时间等工程化关键参数,表明了向实用化推进的潜力。

其他有价值的内容还包括:研究详细探讨了器件工作的能带机制(见补充图),为理解其非易失性光电流和电导调制行为提供了物理基础;在神经网络模拟中,明确比较了4比特与7比特离散权重对精度的影响,为硬件-算法协同设计提供了参考;通过定义和利用主动适应指数等量化指标,使生物启发器件的性能评估更加客观和标准化。这项工作是一项集生物灵感、器件创新、性能突破和系统验证于一体的优秀研究,为下一代高效能、低功耗的神经形态视觉感知系统开辟了新的道路。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com