《直接训练高性能深度脉冲神经网络：理论与方法综述》学术报告
本文由Chenlin Zhou（彭城实验室）、Han Zhang（哈尔滨工业大学计算学部）、Liutao Yu（彭城实验室）等来自中国多所顶尖研究机构的学者共同完成，于2024年7月31日发表在《Frontiers in Neuroscience》期刊（DOI: 10.3389/fnins.2024.1383844），是一篇关于第三代神经网络——脉冲神经网络（Spiking Neural Networks, SNNs）的系统性综述。
研究背景与意义 作为第三代神经网络，SNNs因其高生物合理性、丰富的时空动力学特性和事件驱动计算特性，成为传统人工神经网络（Artificial Neural Networks, ANNs）的潜在替代方案。其核心优势在于采用二进制脉冲信号，可将高功耗的乘积累加运算（MAC）转换为低功耗的累加运算（AC），显著提升能效。当前获取深度SNNs存在两条技术路径：ANN-SNN转换方法和基于替代梯度（surrogate gradient）的直接训练方法。前者存在转换时延长、架构受限等问题，而直接训练方法能更灵活地探索SNNs的时空动力学特性，近年来取得显著突破，特别是在Transformer架构的SNNs模型上已展现出与ANN相当的性能。
核心内容与观点
- 脉冲神经元模型的演进 文档系统梳理了从经典LIF（Leaky Integrate-and-Fire）神经元到最新改进模型的发展脉络：
- 可训练参数神经元：如PLIF（参数化LIF）通过可训练膜时间常数增强表达能力；Diet-SNN采用端到端梯度下降优化神经元参数；KLIF通过引入ReLU激活函数自动调节膜电位梯度
- 并行计算神经元：PSN（Parallel Spiking Neuron）通过消除重置过程实现非迭代方程计算；SPSN利用傅里叶变换实现脉冲生成的随机并行处理
- 表1对比显示：GLIF神经元在CIFAR-10上达95.03%准确率，LIFB在ImageNet上达70.02%，PSN在动态视觉传感器数据集DVS128-Gesture上取得85.9%的当前最优性能
- SNNs的理论基础
- 信息编码机制：重点分析速率编码（rate coding）与时间编码（如TTFS时间-to-first-spike编码）的优劣，后者通过首脉冲时间表征信息，显著减少总脉冲数
- 训练算法突破：针对脉冲神经元不可微问题，提出替代梯度法（SG），采用Sigmoid/arctan等可微函数近似Heaviside阶跃函数；开发了IM-loss、RMP-loss等专用损失函数优化信息流
- 时空反向传播：BPTT（时间反向传播）与STBP（时空反向传播）成为主流方法，OTTT（在线时间训练）算法将训练内存消耗降低至常数级
- 先进架构创新
- Transformer-based SNNs：Spikformer首次将自注意力机制引入SNNs，其脉冲自注意力（SSA）模块避免乘法运算，在ImageNet上达到74.81%准确率；后续SpikingFormer通过预激活短路设计降低43%突触计算能耗；QKformer采用分层Q-K注意力实现85.65%的ImageNet准确率
- 残差架构发展：对比三种残差连接类型（激活后相加/激活前相加/预激活），SEW-ResNet首次将直接训练SNNs扩展至100层；MS-ResNet验证预激活架构在482层深度下的可行性
- 软件框架与神经形态硬件
- 软件工具链：SpikingJelly提供从神经形态数据处理到硬件部署的全栈工具；SNNtorch支持生物可信的在线学习算法
- 神经形态芯片：详述TrueNorth（IBM）、Loihi（Intel）、Tianjic（清华大学）等近内存计算架构芯片特性，指出当前硬件在支持大规模SNN训练方面的局限性
- 应用领域拓展 文档列举了SNNs在计算机视觉（如Spiking-YOLO目标检测）、强化学习（DSQN）、生物视觉系统建模、自然语言处理（SpikeGPT）等领域的应用案例，特别强调其在处理动态视觉传感器（DVS）数据时的先天优势。
学术价值与未来方向 本文首次从理论基础、神经元模型、先进架构、软硬件协同等维度系统梳理了直接训练深度SNNs的方法体系，其核心价值在于： 1. 建立了高性能SNNs设计的理论框架，指出可训练参数神经元与并行计算架构的结合是提升性能的关键路径 2. 揭示了Transformer架构在SNNs中的特殊实现形式，为突破传统CNN-based SNNs的性能瓶颈提供新思路 3. 提出神经形态硬件需要针对BPTT等训练算法进行架构创新的重要观点
未来研究应重点关注：更具生物合理性的学习规则（如类星形细胞调节机制）、时空信息编码策略优化、训练算法的并行化改造，以及建立神经形态计算平台的通用标准。特别值得关注的是，最新神经科学研究发现星形胶质细胞（astrocytes）天然具备Transformer运算功能，这为SNNs的架构创新提供了生物学启示。