一种仿生视觉检测模型:基于分数脉冲神经元电路的事件驱动LGMDs实现

学术报道:基于分数脉冲神经元电路的仿生视觉检测模型研究

在智能自动驾驶和无人驾驶飞行器等领域中,迅速有效地预测碰撞并触发避让行为具有非常重要的应用价值。蚱蜢的巨型运动探测器 (LGMDs) 能够在碰撞发生前有效地预测碰撞,并触发避让。这种能力使得LGMD成为设计碰撞避让人工视觉系统的理想模型。不同于传统CMOS摄像机,事件相机(DVS)能够模拟生物视觉系统中的光感受器,从底层仿真LGMD系统的分野,提供高时间分辨率、高动态范围和最小运动模糊等优势。

背景及意义

仿生视觉模型

本次研究的作者为Yabin Deng、Haojie Ruan、Shan He、Tao Yang和Donghui Guo,分别来自厦门大学和福州大学,并在IEEE Transactions on Biomedical Engineering期刊上发表了题为“基于分数脉冲神经元电路实现的生物拟态视觉检测模型(A Biomimetic Visual Detection Model: Event-Driven LGMDs Implemented with Fractional Spiking Neuron Circuits)”的研究论文。

本研究的动机在于,目前关于LGMDs的研究分为两大阵营:一是强调突触前视觉通路;另一是强调LGMDs神经元本身的特性。当前的计算模型在很多情况下忽略了LGMD单个神经元的生物物理行为描述,这大大限制了其生物可解释性以及实际应用的广泛性。通过引入分数脉冲神经元 (FSN) 电路,本研究旨在基于两种特性构建兼容的生物拟态视觉模型,解释并模仿LGMDs行为。

研究方法与流程

实验设计与实现:

研究主要分为以下几个步骤:

  1. 事件相机输入层: 使用事件相机而非传统的CMOS摄像机来预处理图像并生成事件流,这些事件流反映了每个像素的亮度变化,类似于脉冲动态。

  2. ON/OFF视觉通路: 定义ON通路与OFF通路分别处理由亮到暗和由暗到亮的事件。通过模拟蚱蜢的视觉通路,允许模型在复杂场景中对目标进行响应。

  3. 分数脉冲神经元电路(FSN): 引入FSN电路模拟LGMDs神经元在多个尺度上对脉冲频率的自适应。FSN通过改变树突形态参数来模拟LGMDs中的多尺度脉冲频率适应性 (SFA)。

  4. 事件驱动模型的实现: 结合突触前侧抑制与突触后侧抑制,完成包括复杂场景中的碰撞检测与逼近物体选择功能。

数据与算法分析:

  1. ON/OFF通路计算: 对于任一空间位置的每个像素点,计算其在ON通路上产生的正信号和在OFF通路上产生的负信号,分别代表令人兴奋和侧抑制信号。

  2. LGMDs神经元电路模型: 通过引入多尺度SFA和树突形态参数,验证实验中单个LGMD神经元在不同电刺激情况下的响应特性。

  3. 体系测试: 进行模拟复杂场景与实际物理视频的实验,测试在高速运动物体接近和噪声复杂场景中模型的碰撞检测和选择能力。

实验结果

  1. 单个LGMD神经元行为模拟:

    • 在不同电流脉冲刺激下,FSN电路能模仿产生突发响应,并在跨不同时段的注入电流条件下显现多尺度适应性特征。
    • 实验证明,FSN电路的脉冲频率适应性和时间常数范围与生物LGMDs相符,验证了其生物可解释性。
  2. 系统性测试:

    • 针对多物体运动模式的碰撞选择测试中,FSN电路能有效选择接近物体,并在碰撞前产生响应峰值。该模型的响应与蚱蜢的实验数据高度一致。
    • 在实际场景的物理刺激实验中,模型在复杂背景和高动态场景下展现了出色的稳定性和鲁棒性。
  3. 低对比度场景测试:

    • 实验证实,FSN电路能再现LGMDs神经元中的适应性特征,其在低对比度和复杂背景中的强抑制效应与实际观察到的LGMDs行为一致。

研究总结与应用价值

本研究通过底层建模,结合事件驱动相机和FSN电路,提出了一种生物拟态视觉检测模型。这种模型不仅能够在视觉不确定性下展现出极高的鲁棒性和灵活性,并具备快速响应能力,为未来涉及复杂场景下快速移动目标的检测和导航提供了潜在应用价值。同时,本研究拓展了一种新颖的、基于多特征整合全特性仿真的生物拟态计算方法,为未来神经形态计算和智能机器人的发展奠定了基础。