具备完全神经形态视觉与控制的自动驾驶飞行器
具备完全神经形态视觉与控制的自动驾驶飞行器
背景与研究动机
过去十年间，深度人工神经网络（ANNs）在人工智能领域取得了巨大进步，特别是在视觉处理方面。然而，这些先进的视觉处理技术在实现高精确度的同时，往往需要大量且耗能的计算资源，这使得其在小型飞行机器人等资源受限的情况下难以应用。
针对这一问题，神经形态硬件通过模仿生物大脑的稀疏、异步特性，实现了更高效的感知与处理能力。在机器人领域，神经形态硬件中的事件驱动相机和脉冲神经网络（SNNs）具有低延迟、低能耗的潜力。然而，当前嵌入式神经形态处理器的限制和脉冲神经网络训练的挑战使得这些技术主要应用于低维度的感知和动作任务。
为解决这些问题，本文展示了一个全神经形态的视觉到控制的流水线，用于控制飞行中的无人机。具体而言，我们训练了一个脉冲神经网络，直接接受来自事件驱动相机的原始数据，并输出低层次的控制动作以实现视觉自主飞行。
研究来源
本文由F. Paredes-Vallés, J. J. Hagenaars, J. Dupeyroux等人共同完成，他们隶属于荷兰代尔夫特理工大学航空工程学院微型飞行器实验室。本文发表于《Science Robotics》，编号为SCI. ROBOT. 9, EADI0591 (2024)，发布日期为2024年5月15日。
研究流程
(a) 研究工作流程
研究包括几个步骤，详细如下：
数据采集与神经网络训练：
- 使用DVS 240事件驱动相机获取实际的事件数据。相机拍摄下方的静态、纹理丰富的平面，用于训练与评估神经网络。
- 采用自监督学习方法训练一个五层、28,800个神经元的脉冲神经网络，通过反向传播和时间反向传播算法进行调整，使用模拟器对神经网络进行评估。
- 该网络利用模拟器中的真实事件数据进行训练，将原始事件映射到自运动估计上。
神经网络结构与实现：
- 结构包括输入层、三个自回归编码器、池化层共7200个神经元和506400个突触。网络按16x16像素的感兴趣区域（ROI）分开独立处理，提供每个ROI的光流估计。
- 通过模拟器对控制部分进行训练，使用进化算法学习一个线性解码层，将视觉网络输出的光流信息解码为飞行控制命令。
实验与验证：
- 神经网络在Intel的Loihi神经形态处理器上实现，以200赫兹的频率运行，空闲功耗为0.94瓦，运行时增加7到12毫瓦。
- 实验表明，该网络能精确控制无人机的自运动，实现悬停、着陆和侧向机动，即使在发生偏航时也能稳定飞行。
(b) 核心实验结果
视觉部分结果：
- 使用自我对比度最大化框架，通过对事件相机的事件进行校正，成功地实现了准确的光流估计。
- 神经网络捕捉到了输入事件流中的运动信息，即使在快速旋转（约4弧度/秒）的情况下也能保持准确。
控制部分结果：
- 在模拟中训练并验证了控制部分，移植到真实环境中的表现跟预期结果一致。
- 实验证明，尽管硬件限制和模型简化，神经网络能使无人机准确执行水平飞行和垂直着陆等自运动操作。
能耗与效率：
- 在不同序列下，Loihi的运行功耗试验表明，神经形态硬件在处理稀疏事件输入时具有显著的能效优势，比Jetson Nano在10瓦模式下消耗更少的功耗。
- 尽管Loihi主要的能耗在于静闲时的功耗，但其总能耗仍远低于GPU平台。
© 研究结论
本文展示了一个有效的全神经形态视觉到控制的流水线，表明了神经形态硬件在实现低延迟、低能耗的自主飞行控制中的潜力。实验表明，神经形态处理可在小型无人机上运行复杂的深度神经网络，使其接近飞行动物（如昆虫）的敏捷性和灵活性。
未来的研究可以进一步优化神经形态处理器的输入输出带宽和接口，提升实际应用中的视觉处理和控制性能。最终，向混合信号硬件迁移可能带来更大的效率提升，但这将伴随着更大的开发和部署挑战。
(d) 研究亮点
- 创新性： 本研究首次展示了一个完整的神经形态视觉到控制的流水线，实现了无人机的自主飞行。
- 实用性： 实验展示了在实际环境中成功实现模拟到真实的迁移，证明了该技术的实际应用潜力。
- 能效优越： 相较于传统嵌入式GPU，神经形态处理在能效和速度上表现出色，特别适用于资源受限的小型飞行器。
(e) 其他有价值的信息
除了上述实验结果和研究意义，本文还详细描述了各个实验步骤和方法，提供了清晰的实现流程和可重复性。这为后续研究和实际应用提供了有价值的参考。
通过详细的数据和实验结果分析，本文为探索神经形态硬件在小型机器人自主导航领域的潜力提供了坚实的基础，也为进一步的技术进步和实际应用铺平了道路！