深度强化学习中的可塑性注入：诊断与计算效率提升
作者及机构
本研究的核心作者包括Evgenii Nikishin（曾于DeepMind实习，现任职于Mila, Université de Montréal）、Junhyuk Oh、Georg Ostrovski、Clare Lyle、Razvan Pascanu、Will Dabney和André Barreto，均来自DeepMind。该研究发表于第37届NeurIPS（Conference on Neural Information Processing Systems）2023会议。
学术背景
研究领域为深度强化学习（Deep Reinforcement Learning, DRL），聚焦神经网络在训练过程中逐渐丧失“可塑性”（plasticity）的现象——即网络从新数据中学习的能力下降。尽管生物神经系统的可塑性丧失已有研究（如神经元退化或突触连接减弱），但人工神经网络的可塑性损失机制尚不明确。此前研究通过代理指标（如饱和ReLU单元数量或特征秩）间接分析可塑性，但这些指标与性能的关联性存疑（Gulcehre et al., 2022）。本研究提出“可塑性注入”（plasticity injection）方法，旨在解决两个核心问题：
1. 诊断工具：通过干预判断性能停滞是否由可塑性丧失引起；
2. 计算优化：动态扩展网络容量，避免从头训练的高成本。
研究流程与方法
1. 可塑性注入的设计
- 核心思想：在训练中冻结当前网络参数θ，引入随机初始化的新参数θ′，通过残差学习保持预测不变性。具体公式为：
[ h\theta(x) + h{\theta’1}(x) - h{\theta’2}(x) ]
其中，(h{\theta’1})为可训练参数，(h{\theta’_2})为冻结副本，初始时两者相等，确保预测无突变。
- 架构调整：仅对网络头部（后两层）注入可塑性，避免编码器（前三层）重新学习表征。
2. 实验设置
- 基准模型：基于Double DQN（Van Hasselt et al., 2016），在57款Atari游戏上训练200M帧。
- 干预时机：主实验在50M帧时注入可塑性，对比不同时间点（25M/100M）的效果。
- 评估指标：采用四分位均值（IQM）和标准化分数，确保统计鲁棒性（Agarwal et al., 2021）。
3. 诊断协议
- 性能分析：若注入后性能提升，表明原网络存在可塑性丧失。例如，在《Phoenix》中，注入后分数翻倍，证实早期可塑性损失；而在《Assault》中，性能停滞源于探索不足（新动作未被激活）。
- 参数敏感性：通过调整学习率、回放比例（replay ratio）和网络规模，验证可塑性损失与优化超参数的关系（图5）。
4. 计算效率优化
- 动态扩展网络：对比从头训练大网络与从小网络动态注入可塑性的效率。结果显示，后者节省20小时GPU时间（A100），且性能相当（图6右）。
- 与其他方法对比：可塑性注入优于参数重置（resets）和收缩-扰动（SNP），在57款游戏中平均提升20%分数（图6左）。
主要结果
可塑性损失的普遍性
干预效果的时序依赖性
超参数的影响
结论与价值
科学意义
- 首次系统验证DRL中可塑性损失的存在，并提出直接干预方法。
- 揭示了优化超参数（如网络规模）与可塑性的非线性关系，为算法设计提供理论依据。
应用价值
- 诊断工具：快速定位训练失败原因（可塑性丧失或探索不足）。
- 工程优化：支持动态网络扩展，降低大规模RL训练的算力成本。
研究亮点
1. 方法创新：可塑性注入无需增加可训练参数量或改变预测，避免了传统重置法的性能波动。
2. 跨任务验证：在57款Atari游戏中系统性测试，覆盖多样环境动态。
3. 开源生态：基于JAX和DeepMind开源工具链，确保实验可复现性。
局限性与展望
- 内存和计算开销略高于基线，需权衡性能增益与成本。
- 未来可探索自适应注入准则（如权重范数阈值）和更复杂架构（如ResNet、Transformer）中的应用。
其他发现
- 探索与可塑性的耦合：在《Assault》中，性能平台期源于环境阶段转换（新动作需求），而非可塑性问题（附录D）。
- 权重增长的异质性：不同游戏的权重范数增长差异达10倍（图10），暗示任务复杂度对可塑性的影响。
（注：本文档属于类型a，即单篇原创研究论文的报告。）