一项关于昆虫视觉启发的CMOS集成突触式光感受器芯片的研究
本研究由浙江大学等多家研究机构的科研人员合作完成，主要作者包括柴健、徐欣怡、王悦、王晓晨等，通讯作者为王晓晨、李凌飞、Srikrishna Chanakya Bodepudi、袁锐、于斌、徐阳。该研究成果以“CMOS-Integrated Synaptic Photoreceptor Chip Inspired by Insect Visual Processing”为题，发表在学术期刊《Advanced Science》上，于2026年3月27日被接受发表，是一篇关于神经形态视觉硬件系统的原创性研究论文。
学术背景与研究目标
当前，机器视觉是物联网、自动驾驶和工业自动化等领域感知外部世界的核心技术。然而，大多数现有机器视觉系统遵循冯·诺依曼架构，将图像感知、内存和计算在物理上分离，导致冗余的数据采样、传输延迟和高功耗，难以满足对高实时性、低功耗和边缘智能日益增长的需求。相比之下，昆虫（如蜜蜂）的视觉系统展现出了高效、低功耗的信息处理能力。它们不仅具有独特的光谱选择性（对紫外、蓝光波段敏感，对红光/红外光相对不敏感），能够从复杂背景中高效提取关键特征（如花朵的紫外线“光晕”），还具备出色的动态视觉处理能力，能够实时追踪快速移动的目标。受此启发，研发能够模仿生物视觉处理原理的仿生视觉硬件芯片，是实现下一代高效机器视觉系统的重要途径。
近年来，低维材料因其优异的光电特性（如可调带隙、强光-物质相互作用、高载流子迁移率）和通过范德华力易于异质集成的特点，成为构建仿生视觉系统的理想材料平台。其中，半导体量子点（Quantum Dots，QDs）因其高吸光效率和光谱可调性备受关注。然而，目前大多数研究仍停留在针对单一应用场景的器件开发层面，能够在复杂动态环境下实现多模态感知、传感内存计算（in-sensor memory computing）并与互补金属氧化物半导体（CMOS）电路高效异质集成的单片光电平台，仍然是一个巨大挑战。因此，本研究的目标是开发一种新型的、受昆虫视觉启发的、能与CMOS电路集成的神经形态视觉传感器芯片，旨在实现静态特征识别、动态轨迹追踪和三维深度感知等多种功能，为推进人工智能和机器视觉领域的应用提供新的硬件解决方案。
详细研究流程与方法
本研究是一个涵盖材料、器件、电路集成及功能验证的系统性工程，主要流程可分为以下几个关键步骤：
第一步：Si QDs/ReS₂ 人工突触光感受器器件的设计与制备。 研究从构建基本的光电突触单元开始。首先，研究人员通过机械剥离法获得少层二硒化铼（ReS₂）薄片，并将其转移到带有二氧化硅层的硅基底上。随后，利用光刻和热蒸发工艺在ReS₂上定义并沉积铬/金（Cr/Au）电极，作为晶体管的源极和漏极。最后，通过旋涂法将硅量子点（Si QDs）的乙醇分散液均匀涂覆在制备好的ReS₂沟道上，形成Si QDs/ReS₂范德华异质结。器件的有源区通道宽度为10 µm。这一步骤中的核心是形成具有界面缺陷态的异质结结构，该结构被认为是实现类突触持久光电导（Persistent Photoconductivity， PPC）行为的关键。
第二步：Si QDs/ReS₂ 神经形态图像传感器异质集成（NISH）芯片的制造。 为了实现器件阵列与读出电路的单片集成，研究团队开发了一套与CMOS工艺兼容的异质集成流程。首先，在商用代工厂使用标准的180纳米硅工艺制备了CMOS读出集成电路（ROIC）。接着，在制备好的CMOS芯片上通过光刻和溅射定义金属电极。然后，采用湿法转移工艺将化学气相沉积（CVD）法生长的ReS₂转移到CMOS芯片的电极上，经过烘烤以增强粘附性和电接触后，通过紫外光刻和氩等离子体刻蚀将ReS₂图案化，定义出与每个像素电极完全接触的沟道，并实现像素间的电学隔离。最后，将Si QDs旋涂到整个芯片表面，完成Si QDs/ReS₂光电突触像素阵列（16×16分辨率）与底层CMOS电路的垂直异质集成。芯片还包括模拟电路模块（如模拟前端AFE、模数转换器ADC、数模转换器DAC、低压差线性稳压器LDO、带隙基准BGR等）和数字电路模块，用于信号的采集、处理和读出。
第三步：材料与器件表征。 研究使用了多种表征手段来验证材料和器件的结构及基本性能。利用原子力显微镜（AFM）测量了ReS₂的厚度（约6纳米）。通过扫描电子显微镜（SEM）观察了器件表面形貌和Si QDs的分布，并配合能量色散X射线光谱（EDS）进行元素映射，确认了ReS₂、Si等元素的分布。通过拉曼光谱分析了ReS₂在旋涂Si QDs前后的特征峰变化（观察到红移）。通过紫外-可见吸收光谱和光致发光光谱分别表征了Si QDs的宽谱吸收特性和ReS₂的光学带隙（约1.525 eV）。
第四步：电学与光电性能测试。 研究人员使用半导体参数分析仪和光电流扫描显微镜等设备，对单个Si QDs/ReS₂光晶体管的电学和光电突触特性进行了详细测试。这包括： 1. 转移特性测试：测量了器件在不同波长（375 nm紫外、488 nm蓝、532 nm绿、808 nm近红外）光照下的转移曲线，验证其光谱选择性。 2. 光电响应机制研究：通过分析光电流与光强、栅压的关系，确认了光门控效应为主导机制。 3. 突触塑性行为模拟：通过施加脉冲光刺激，研究了器件的兴奋性突触后电流（Excitatory Postsynaptic Current， EPSC）、双脉冲易化（Paired-Pulse Facilitation， PPF）、以及在不同脉冲宽度、频率、数量下从短时程增强（Short-Term Potentiation， STP）到长时程增强（Long-Term Potentiation， LTP）的过渡行为。特别演示了在光脉冲序列和栅压脉冲交替作用下的“写入-擦除”循环，模拟了生物突触的可塑性。 4. 持久光电导（PPC）与记忆保留：对比了纯ReS₂器件和Si QDs/ReS₂异质结器件在光照停止后的光电流衰减行为，证明了Si QDs的界面缺陷态对光生空穴的捕获显著延长了载流子寿命和记忆保留时间。
第五步：静态与动态视觉任务的功能验证。 这部分是本研究的功能演示核心，涉及算法和数据集的构建。 1. 静态特征（颜色）识别：利用器件对不同波长的响应差异，研究人员演示了其对紫色和红色特征的高保真区分能力。他们将一幅包含紫色花蕊和红色花瓣的彩色图像，分别映射到器件在375 nm（紫外）和808 nm（近红外）光脉冲激发后的电导值上。结果显示，即使在长达50秒的衰减时间后，器件对紫色特征仍能保持显著的记忆效应，有效模仿了蜜蜂对紫外特征（如花蜜指引）的选择性关注。 2. 动态轨迹识别：为了模拟昆虫对运动目标的感知，研究团队构建了一个包含叶片沿八个方向（0°, 45°, …, 315°）运动轨迹的数据集。他们利用Si QDs/ReS₂器件对光脉冲序列的时间积分特性（即对脉冲顺序和间隔的编码能力），将一段连续的运动序列编码成一个“时空融合压缩帧”，这与传统图像传感器仅输出离散空间帧有本质区别。将这种压缩帧输入到一个四层卷积神经网络进行分类测试，并与基于传统单帧图像输入的网络性能进行对比。 3. 三维深度感知：利用集成的16×16像素NISH芯片，研究人员演示了基于光强衰减模型的简单深度感知功能。通过校准物体距离与芯片像素EPSC响应值之间的关系，将物体在不同深度（相对于20厘米参考平面，分为平面、凹陷、凸起）的EPSC图案映射为深度图像。他们生成了“Z”、“J”、“U”三种形状在平面、凹陷、凸起九种类别的合成数据集（每类200张图像），并设计了一个全连接神经网络（输入层、三个隐藏层、输出层）对这些深度图像进行分类。
第六步：数据分析流程。 对于动态轨迹识别和深度感知任务，研究采用了监督学习的方法。首先构建或合成带有标签的数据集。然后，使用PyTorch等深度学习框架搭建神经网络模型（CNN用于运动分类，FCN用于深度图像分类）。在训练过程中，使用梯度下降算法优化模型参数，以最小化预测误差（如交叉熵损失）。通过绘制训练/测试准确率曲线和混淆矩阵来评估模型性能，并与基线模型（传统传感器方案）进行对比分析。
主要研究结果
研究在各个阶段均获得了支持其目标的明确结果：
在器件层面，Si QDs/ReS₂异质结表现出优异的光电突触特性。转移曲线测试显示，器件对紫外光（375 nm）响应最强，对近红外光（808 nm）响应最弱，光谱敏感性与蜜蜂视蛋白（Rh4， Rh5， Rh6）的光谱响应曲线趋势相似，实现了仿生的光谱选择性。时间响应测试清晰地展示了PPC行为：光照开启时电流骤升，光照关闭后电流缓慢衰减而非立即恢复，随后施加一个正栅压脉冲可以有效“擦除”残余电导，恢复至暗态。这一行为归因于Si QDs/ReS₂界面缺陷态对光生载流子的捕获与释放。此外，器件成功模拟了PPF（当脉冲间隔为0.2秒时，PPF指数高达163%）、STP/LTP转换等多种生物突触可塑性。这些结果为后续的功能模拟提供了物理基础。
在静态图像处理演示中，器件成功实现了对紫色特征的优先提取和记忆。实验结果图显示，随着时间的推移，代表红色花瓣的电导信号迅速衰减消失，而代表紫色花蕊的电导信号则持久保持，最终输出图像中仅保留了紫色的花蕊特征。这直接验证了器件能够像蜜蜂视觉系统一样，从前端感知阶段就过滤掉冗余信息（如长波长的红色），增强关键光谱特征（如紫外/紫色），实现高效的信息处理。
在动态轨迹识别任务中，基于昆虫视觉启发的传感器方案表现出压倒性优势。实验结果显示，Si QDs/ReS₂器件能够对不同的光脉冲序列（如“1101”）产生梯度化的、可区分的响应电流，证明了其有效的时间编码能力。在八方向叶片运动分类测试中，使用器件输出的“时空融合压缩帧”进行训练的神经网络模型，在测试集上达到了97.58%的准确率。而使用传统图像传感器单帧图像训练的对照模型，准确率仅为49.59%。混淆矩阵清晰显示，仿生方案的对角线分布高度集中，分类边界明确；而传统方案则出现了严重的类间混淆。这强有力地证明了将时空信息在传感器前端进行融合编码，对于动态视觉感知至关重要。
在三维深度感知演示中，集成芯片成功实现了高精度的深度特征分类。经过训练的全连接神经网络模型，在九类深度形状分类任务中，取得了训练集99.4%和测试集98.6%的极高准确率。混淆矩阵显示所有类别几乎都被完美分类，仅有极少数几何形状相似的类别间存在轻微误判。这证明了通过将仿生探测器阵列与数据驱动学习相结合，可以实现有效的深度感知，为单片集成的3D视觉传感提供了一条可行的技术路径。
研究结论与价值
本研究的核心结论是：成功设计、制备并验证了一种受昆虫视觉启发的、基于Si QDs/ReS₂异质结的CMOS集成神经形态视觉传感器芯片。该工作不仅实现了从材料、器件到系统集成的完整技术链条，更关键的是在单一光电平台上演示了多场景应用能力：包括静态颜色特征提取、动态运动轨迹识别以及三维深度感知。
其科学价值在于：1) 提出并验证了一种新颖的一维/二维/三维（Si QDs/ReS₂/CMOS）异质集成材料平台和CMOS兼容的集成策略。2) 深入揭示了Si QDs/ReS₂界面缺陷态在实现类突触持久光电导和行为中的关键作用机制。3) 为“传感内存计算”和“近传感计算”范式提供了一个硬件实例，证明了在传感器前端进行信息预处理和特征提取能够极大提升系统效率。
其应用价值显著：这项工作为开发下一代低功耗、高实时性、具备多模态感知能力的神经形态视觉芯片奠定了坚实的基础。此类芯片在自动驾驶（实时障碍物感知）、机器人视觉（灵巧操作与环境交互）、工业检测（高速分拣与质量监控）以及边缘智能设备（无人机、智能家居）等领域具有广阔的应用前景。
研究亮点
本研究的突出亮点在于： 1. 功能集成度高：在同一芯片上实现了静态特征识别、动态轨迹追踪和3D深度感知三种功能，超越了大多数仅针对单一场景的仿生视觉器件研究。 2. 系统集成突破：成功将新型低维材料光电突触阵列与标准180纳米CMOS读出电路进行单片异质集成，实现了“感算一体”的硬件原型，推动了脑启发器件走向实际应用。 3. 仿生机制深入：不仅模仿了昆虫视觉的光谱选择性，更通过光脉冲序列调制模仿了其分层神经元对动态信息的时空编码机制，从原理上抓住了生物视觉高效处理的关键。 4. 性能验证充分：通过构建标准数据集和神经网络模型，对芯片的感知能力进行了定量化评估（如97.58%的动态识别准确率、99.4%的深度分类准确率），结果具有说服力。 5. 技术路径清晰：从材料合成、器件物理、工艺集成到算法验证，呈现了一条完整且可扩展的技术开发路径，对领域内后续研究具有重要的参考价值。
其他有价值的补充
论文中还提及了该芯片的电路细节，包括模拟前端、ADC、DAC等模块的分工与信号流，体现了完整的系统设计思维。此外，作者在讨论部分将平面阵列与自然界中昆虫的曲面复眼结构进行了对比，指出虽然本工作采用平面布局，但其并行处理架构有效模拟了复眼中多个小眼（ommatidia）的并行处理原理，这为在现有平面CMOS技术上实现仿生视觉功能提供了现实可行的思路。