分享自:

一种受螃蟹MLG1神经元启发的逼近空间定位神经网络

期刊:Frontiers in NeuroscienceDOI:10.3389/fnins.2021.787256

关于螃蟹MLG1神经元启发的迫近空间定位神经网络的学术研究报告

一、 研究作者、机构及发表信息

本研究的主要作者包括来自天津理工大学的栾浩(Hao Luan)、广州大学/林肯大学的付钦兵(Qinbing Fu)、张奕澄(Yicheng Zhang)、华木(Mu Hua)、天津理工大学的陈胜勇(Shengyong Chen)以及通讯作者、广州大学/林肯大学的岳世岗(Shigang Yue)。该研究于2022年1月21日发表于神经科学领域的知名期刊 Frontiers in Neuroscience,文章标题为“A looming spatial localization neural network inspired by MLG1 neurons in the crab Neohelice”,文章编号为787256。

二、 学术背景与研究目标

本研究属于神经形态工程与计算神经科学领域,旨在构建受生物视觉系统启发的智能机器视觉模型。具体而言,研究聚焦于一种名为Neohelice granulata的螃蟹,其视觉系统中存在一类特殊的单层小叶巨大1型(Monostratified Lobula Giant type 1, MLG1)神经元。与许多无脊椎动物(如蝗虫)中仅能检测迫近(looming)物体存在、但无法精确定位的单一运动敏感神经元(如LGMD)不同,螃蟹的MLG1神经元以16个为一组,其感受野在水平视野上呈环状排列,部分重叠,形成了一个能够编码迫近物体空间位置的神经集群。这使得螃蟹能够根据威胁来源的方向,连续、精细地调整其逃跑路径。然而,尽管MLG1神经元的生理特性已被部分揭示,但模拟其实现空间定位功能的计算模型却鲜有研究。

当前,自主机器人、车辆和无人机在复杂动态环境中的碰撞检测与规避仍面临挑战。现有的雷达、激光、红外等传感器虽有效,但在可靠性、系统复杂性和能耗方面仍有不足。基于视觉的传感器因其非侵入性、普遍性和硬件紧凑性而具有优势,但其在多种条件下的碰撞检测可靠性仍有待提高。因此,受生物高效、鲁棒的视觉系统启发,开发新型的紧凑、节能的视觉传感器具有重要价值。

本研究的核心目标是:建立一个受螃蟹MLG1神经元集群启发的计算神经网络模型,使其不仅能够检测迫近物体,还能像生物原型一样,精确定位迫近物体在视野中的空间方位。 该模型旨在为神经生物学家提供一个验证假设的计算工具,同时为智能机器(如机器人、无人机)提供一种能够感知并定位动态环境中迫近物体的高效、可靠的视觉处理方案。

三、 详细研究流程与方法

本研究的工作流程主要包括模型构建、参数设定和系统性实验验证三个主要部分,采用计算建模与离线视频测试相结合的方法。

1. 模型构建: 研究团队基于对螃蟹MLG1神经元及其可能的前突触神经回路的理解,构建了一个名为“迫近空间定位检测器”(Looming Spatial Localization Detector)的神经形态结构模型。该模型的核心思想是模仿螃蟹16个MLG1神经元感受野的天然排列方式,将全景视觉输入划分为16个均等的扇区(每个扇区视野37.5度,与相邻扇区重叠15度),并为每个扇区构建一个相同的、称为“部分神经网络”的计算单元。每个部分神经网络模拟单个MLG1神经元从光信号到脉冲输出的处理过程,具体包含以下逐层递进的计算层: * 光感受器层:模拟视网膜细胞,计算图像序列中每个像素的亮度变化,并引入持续性系数模拟视觉暂留效应。 * 抑制与兴奋层:实现生物侧抑制功能。兴奋细胞直接传递亮度变化信号;抑制细胞则对前一帧的邻域亮度变化进行加权平均(使用3x3卷积核),模拟周边抑制,以增强运动边缘检测。 * 求和层:将兴奋信号与加权后的抑制信号相加,初步提取运动信息。 * 分组层:通过一个等权重的邻域求和操作,增强由扩展边缘形成的集群兴奋信号,同时抑制孤立的噪声。该层引入一个自适应尺度因子和一个阈值,以标准化输出并过滤微弱信号。 * MLG1细胞层:将分组层所有像素的绝对值输出求和,作为该“神经元”的膜电位。随后,通过一个S型函数将膜电位映射为标准化激活值,模拟神经元的激活过程。 * 脉冲频率适应机制:这是一个关键的生物可塑性机制,用于增强模型对迫近刺激的选择性。该机制根据膜电位的一阶和二阶导数动态调整一个自适应系数:当检测到膜电位加速上升(迫近特征)时,系数增大,从而放大输出信号;当膜电位下降或平稳(后退或平移特征)时,系数减小,从而抑制输出信号。这使得模型能有效区分迫近与后退物体。 * 前馈抑制机制:用于应对整个视野的剧烈变化(如相机快速旋转)。该机制监控全局亮度变化,当其超过一个自适应阈值时,将抑制所有MLG1细胞的脉冲输出,防止因自身运动产生误报。 * 脉冲单元:结合MLG1细胞的激活值和前馈抑制信号,最终决定是否产生一个“脉冲”(碰撞警告)。只有当激活值超过阈值且前馈抑制未激活时,才会在连续多帧内产生脉冲,从而触发碰撞警报。

2. 空间定位机制: 模型的核心创新在于如何整合16个部分神经网络的输出以实现空间定位。研究提出了一个基于胜者通吃机制的“迫近空间定位”层。当某个扇区的MLG1神经元首先被激活并产生脉冲时,其对应的隐藏层神经元被激活,并通过抑制性连接抑制其他所有隐藏层神经元。即使随后相邻扇区的神经元也被激活,其输出也不会改变最初的定位决策。该机制模拟了生物系统中可能存在的竞争性交互,确保了第一时间对迫近方向做出明确判断。如果两个相邻神经元同时被激活,则判定迫近物体位于两者感受野的中间位置。

3. 参数设定与实验设计: 模型参数(如抑制权重、阈值、适应系数等)通过初步实验进行确定和优化。所有实验均使用Insta360 One X全景相机拍摄的真实世界视频进行离线测试,以模拟螃蟹的单眼360度视野。视频帧率为30fps。研究设计了五组系统性实验来验证模型的有效性和鲁棒性: * 实验一:迫近空间定位检测:用一个黑球沿轨道直接撞向固定相机,验证模型能否准确识别迫近事件并定位其发生的扇区。 * 实验二:多角度迫近测试:让小球以不同角度(0度、5度、10度、20度偏差)接近相机,测试模型对不同方位迫近刺激的响应特性。 * 实验三:多尺寸与多速度测试:使用不同直径(4cm, 6cm, 8cm)和不同接近速度(3-30 cm/s)的微型机器人作为刺激,测试模型响应与刺激大小、速度的关系,并与生物MLG1神经元的已知特性进行对比。 * 实验四:对比度测试与SFA机制选择性测试:使用不同颜色(对比度)的小球进行迫近测试,验证模型对刺激-背景对比度的敏感性。同时,使用包含迫近和后退运动的视频,验证SFA机制对迫近信号的增强和对后退信号的抑制能力。 * 实验五:旋转视觉刺激测试:让相机自身旋转,测试前馈抑制机制能否有效抑制因整体场景运动(自运动)而产生的误报。 * 实验六:城市场景测试:在复杂的户外城市场景中,记录两个人同时从不同方向接近相机的视频,测试模型在动态、杂乱背景下的鲁棒性和有效性。

四、 主要研究结果

1. 迫近空间定位能力: 在直接碰撞测试中,模型成功检测到迫近事件,并主要激活了对应于小球轨迹的扇区(如MLG14、MLG15)。胜者通吃机制确保了由最先被显著激活的神经元(如MLG14)决定最终的空间定位输出,与预期相符。重复实验显示了结果的高度一致性,证明了模型的鲁棒性。

2. 角度敏感性: 多角度测试表明,模型能对不同角度的迫近刺激产生响应。直接碰撞(0度)在对应扇区引发最强的脉冲序列。随着角度偏差增大(5度、10度),激活的扇区随之偏移,且总体脉冲频率降低。当角度偏差足够大(20度)时,模型不产生响应,这符合一个理想的避撞系统特性——仅对可能构成威胁的迫近方向做出反应。

3. 对刺激大小和速度的响应: 实验结果与生物观察高度一致:更大的迫近物体会引发模型更早的神经响应(更早达到阈值并发出警告)。更高的迫近速度则导致模型在物体距离相机更远时(即距离碰撞时间更长时)就发出警告。这些定量结果成功复现了文中引用的生物MLG1神经元响应特性图(图2)所展示的趋势,验证了模型在编码刺激动力学参数方面的生物合理性。

4. 对比度敏感性与SFA机制有效性: 对比度测试显示,模型对刺激与背景的对比度敏感,对比度最高的黑色小球引发了最早的响应。这反映了当前模型基于亮度变化的工作原理,与生物神经元对运动而非绝对对比度更敏感的特性存在差异,作者也将其列为未来的改进方向。SFA机制测试结果清晰表明,该机制能有效增强对迫近刺激的响应信号,同时快速抑制对后退刺激的响应。在包含迫近和后退序列的视频中,模型仅在迫近阶段产生强烈的碰撞警告脉冲,而在后退阶段响应被显著削弱或消除。

5. 前馈抑制机制的有效性: 在相机旋转测试中,尽管场景发生剧烈全局运动,但前馈抑制机制被迅速激活,成功抑制了所有16个MLG1模型产生误报脉冲。这证明了该机制能有效区分由自身运动引起的整体光流和由外部物体迫近引起的局部扩展运动,对于在移动平台上部署该模型至关重要。

6. 复杂场景鲁棒性: 在动态、杂乱的城市场景测试中,通过微调参数(提高脉冲阈值和所需连续脉冲数),模型成功检测并定位了两个从不同方向同时接近的行人。其中移动速度稍快的行人首先触发了对应扇区的警报。该实验证明了模型在非受控、真实世界环境中的潜在应用价值。

五、 研究结论与价值

本研究成功构建并验证了一个受螃蟹MLG1神经元集群启发的、用于迫近物体空间定位的视觉神经网络计算模型。该模型不仅能够像其生物原型一样检测迫近物体,还能精确判断迫近发生的空间方位。其响应特性(对物体大小、速度的敏感性)与真实的MLG1神经元实验数据相符。

科学价值:该工作填补了计算神经科学领域的一个空白,首次提出了一个能够编码空间迫近信息的运动敏感神经元计算模型。它为神经生物学家和神经行为学家提供了一个可计算、可测试的工具,用于进一步探索和理解螃蟹(乃至其他动物)视觉系统中实现方向性逃避行为的神经回路机制,例如检验关于神经元间竞争(胜者通吃)的假设。

应用价值:该模型为新一代自主机器人的视觉感知系统提供了有前途的解决方案。其低能耗、高效率、高可靠性的特点,使其非常适合于对计算资源和功耗敏感的微机器人、无人机和自动驾驶车辆,用于实现智能的、具有方向选择性的碰撞规避。模型输出的空间方位信息可直接用于指导机器人的避障路径规划。

六、 研究亮点

  1. 首创性模型:这是首个专门针对螃蟹MLG1神经元集群的、实现迫近空间定位功能的计算神经网络模型,填补了该领域建模研究的空白。
  2. 生物合理性:模型结构(16个扇区、感受野重叠)和响应特性(对大小、速度的敏感性)紧密遵循生物实验发现,具有较高的生物可信度。
  3. 机制创新:创新性地引入了基于胜者通吃机制的空间定位层,将16个并行处理单元的输出整合为一个明确的方向信号,这是实现空间定位的关键。
  4. 功能完备性:模型集成了多种生物可塑性机制,如脉冲频率适应用于增强迫近/后退选择性,前馈抑制用于应对自运动,使其在复杂动态环境中表现鲁棒。
  5. 系统性验证:通过多组设计严谨、从简到繁的实验(实验室受控场景到真实城市场景),全面验证了模型在定位、选择性、鲁棒性等方面的性能,论证充分。

七、 其他有价值的讨论

作者在讨论部分也坦诚指出了模型的当前局限性与未来方向: * 对比度依赖性:当前模型对刺激与背景的对比度敏感,而生物神经元通常对运动对比度不变。未来可引入生物合理的视觉前处理机制(如偏振或强度信息的并行处理)来改进。 * 探测距离与目标大小:与生物类似,模型对小目标或远距离目标的探测能力有限,需要目标足够近才能激活。这限定了其有效感知范围。 * 光照条件:作为基于亮度变化的模型,其性能受光照条件影响。 * 全局运动感知:当前模型专注于局部迫近事件的定位,未来工作将探索如何整合多个MLG1的脉冲时序信息,以感知更复杂的全局运动。

总体而言,这项研究是神经形态工程领域一项扎实且富有洞察力的工作,成功地将特定的生物神经功能转化为一个可工作的计算模型,为理解生物智能和推动机器感知技术的发展做出了有价值的贡献。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com