本文为您介绍一篇由Ramin Hasani、Mathias Lechner、Alexander Amini、Daniela Rus与Radu Grosu共同合作完成，并发表于第三十五届人工智能大会（The Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI-21）的研究论文。该论文题为“Liquid Time-Constant Networks”，中文可译为《液态时间常数网络》。这项研究隶属于机器学习与计算神经科学交叉领域，具体聚焦于时间序列建模和连续时间递归神经网络（Recurrent Neural Network， RNN）的架构创新。研究的核心动机在于改进现有基于常微分方程（Ordinary Differential Equation， ODE）的神经模型（即神经ODE）的表达能力与稳定性。神经ODE将隐藏状态的动态演化定义为ODE，并通过数值求解器进行模拟，在连续时间序列建模中展现出潜力。然而，现有研究对神经ODE的表达能力上限及其结构的优化可能性仍存在疑问。因此，本研究团队旨在通过提出一种新颖的网络结构，提升连续时间循环神经网络的表达能力、稳定性和实际预测性能。
在医学、工业、商业等众多领域，时间序列数据无处不在。传统上，循环神经网络及其变体（如长短期记忆网络， LSTM）被广泛用于处理此类数据。近年来，一类更具连续时间特性的模型——神经ODE——引起了广泛关注。这类模型将隐藏状态的导数定义为神经网络 f 的输出，状态随时间的变化通过数值ODE求解器计算。然而，神经ODE在表达能力方面存在局限性，其训练常依赖于伴随方法（adjoint method），该方法在反向传播时可能因“遗忘”前向计算轨迹而产生数值误差。
与此同时，连续时间递归神经网络（CT-RNN）提供了一个更稳定的替代方案，它在状态方程中引入了一个固定时间常数 τ 的衰减项，帮助系统趋于平衡。然而，固定的时间常数限制了网络适应不同输入动态的能力。
本研究的目标是：1） 提出一种新的连续时间循环神经网络架构，其时间常数能够根据输入动态变化，从而提高模型的表达能力；2） 确保该模型具有稳定和有界的动态行为；3） 从理论上分析新模型的动力学边界和表达能力；4） 通过一系列时间序列预测实验，验证新模型相较于经典及现代RNNs的优越性能。
本研究的工作流程包含以下几个核心部分：1） 提出液态时间常数网络（Liquid Time-Constant Network， LTC）的数学模型；2） 设计适用于该模型的数值求解器；3） 制定高效的训练算法；4） 对模型的动态行为进行理论分析；5） 定量测量并与对比模型的表达能力；6） 在多个真实世界时间序列数据集上进行预测性能评估。
1. LTC核心模型构建 研究团队提出了一种新的连续时间循环神经网络模型。与直接用神经网络 f 定义隐藏状态导数不同，LTC的灵感来源于小物种神经动力学的计算模型，特别是非发放神经元的电生理方程（Leaky Integrate-and-Fire模型的亚阈值部分）。LTC的隐藏状态 x(t) 的动态由以下非线性互连门控系统调制的一阶线性ODE系统描述： dx(t)/dt = -[1/τ + f(x(t), i(t), t, θ)] x(t) + f(x(t), i(t), t, θ) a 其中，τ 是基础时间常数，f 是一个参数为 θ 的神经网络，i(t) 是输入，a 是一个偏置向量。
该方程的关键创新在于“液态时间常数”概念。模型的有效系统时间常数 τ_sys = τ / (1 + τ f(...)) 不再是固定的，而是由神经网络 f 根据当前隐藏状态和输入实时计算得出。这意味着网络的每个隐藏单元都可以针对不同时间点到达的输入特征，动态调整其响应速度和耦合敏感性，从而实现对复杂动态的精细建模。
2. 数值求解器设计（融合ODE求解器） LTC模型对应的ODE属于“刚性方程”，使用传统的龙格-库塔（Runge-Kutta）方法求解可能需要极小的步长，效率低下。为此，研究团队专门设计了一种融合显式和隐式欧拉方法的固定步长ODE求解器。该求解器通过将方程中线性出现的 x(t_i) 项替换为 x(t_{i+1})，得到可显式求解的更新公式（方程3）： x(t+Δt) = (x(t) + Δt * f(...) a) / (1 + Δt * (1/τ + f(...))) 这个“融合步长”更新（算法1）同时具备了隐式欧拉的稳定性和显式欧拉的效率，是高效实现LTC模型前向传播的关键。
3. 训练算法（通过时间的反向传播， BPTT） 尽管神经ODE常使用伴随法以节省内存，但伴随法在反向模式积分时存在数值误差。为了确保梯度计算的准确性，本研究选择了标准的通过时间的反向传播算法（Vanilla BPTT）来训练LTC网络。具体而言，将ODE求解器的输出序列视为一个展开的RNN，然后应用BPTT计算梯度（算法2）。这种做法的核心是“用内存换取数值精度”，它需要存储前向传播的所有中间状态，但能精确地恢复前向轨迹，从而获得准确的反向传播梯度。
4. 理论分析（动力学边界与表达能力） 研究团队对LTC模型进行了深入的理论分析，主要包含两个定理： * 定理1（时间常数边界）： 假设神经网络 f 采用有界、单调递增的S型非线性激活函数（如sigmoid、tanh），则LTC单元的有效时间常数 τ_sys 被严格限制在区间 [τ/(1+τw_i), τ] 内，其中 w_i 是与输入相关的权重项的上界。这证明了时间常数的变化是稳定的、有界的。 * 定理2（状态边界）： 在有限时间区间内，任何LTC单元的隐藏状态 x_i(t) 都被限制在区间 [min(0, a_min), max(0, a_max)] 内。这保证了即使输入无限增长，LTC的输出也不会“爆炸”，确保了模型的稳定性。 * 定理3（通用近似定理）： 研究证明了LTC网络同样是通用近似器，能够以任意精度逼近任何有限区间上的连续动力学系统。该证明将目标动力学系统嵌入到一个更高维的LTC系统中，其难点在于处理LTC方程中与输入相关的非线性时间常数项。
5. 表达能力定量测量（轨迹长度分析） 为了定量比较不同连续时间模型的表达能力，研究扩展了静态深度神经网络中的“轨迹长度”度量方法。具体方法是：向网络输入一个简单的二维圆形轨迹 i(t)=[sin(t), cos(t)]，观察网络各层激活值在潜在空间（通过主成分分析PCA降维至2维）中的轨迹复杂度。轨迹长度定义为该轨迹弧长的积分。
研究团队构建了具有相同神经网络 f（包括不同激活函数：tanh、sigmoid、ReLU、hard-tanh）的神经ODE、CT-RNN和LTC模型实例。在统一的权重初始化方案下（权重方差 σ_w^2，偏置方差 σ_b^2），使用数值ODE求解器进行前向模拟，并计算潜在空间中的轨迹长度。通过系统性地改变网络宽度、深度、权重方差、激活函数和求解器，定量评估和比较了各模型的表达能力。此外，研究还定义了连续时间网络的“计算深度”，即求解器对每个输入样本所需的平均积分步数。
基于此，研究团队推导了不同模型的轨迹长度增长下界： * 定理4（神经ODE和CT-RNN的轨迹长度下界）： 在特定条件下，神经ODE和CT-RNN的期望轨迹长度随网络深度和计算深度呈指数级增长，其增长基数与权重方差、网络宽度等因素相关。CT-RNN的下界基数小于神经ODE，预示其表达能力相对较弱。 * 定理5（LTC的轨迹长度下界）： LTC的轨迹长度下界不仅包含与神经ODE类似的指数增长项，还额外增加了一个与权重方差和隐藏状态范数成正比的项。这从理论上解释了LTC能够产生更复杂轨迹的原因。
6. 实验评估（时间序列预测） 为了验证LTC的实际性能，研究团队在七个不同的公开时间序列预测数据集上进行了广泛的实验对比，包括手势识别、房间占用率预测、人类活动识别、顺序MNIST、交通流量预测、电力消耗预测和臭氧水平检测。对比的模型包括：LSTM、CT-RNN、神经ODE（使用四阶龙格-库塔求解器）以及连续时间门控循环单元（CT-GRU）。
此外，还专门针对“人类活动”数据集设置了两套实验方案：第一套是与上述基线模型的直接对比；第二套是完全复现并对比了先前研究（Rubanova et al., 2019）中提出的多种模型变体（如RNN-∆t、ODE-RNN、Latent ODE等），以确保公平性。
最后，为了测试模型对物理动力学的建模能力，研究还使用MuJoCo物理引擎模拟了Half-Cheetah机器人的运动，任务是基于历史观测和动作自回归地预测未来的观测状态，并在5%的动作中加入了随机噪声以增加难度。
1. 理论结果得到验证： * 实验观察到的LTC潜在空间轨迹明显比神经ODE和CT-RNN的轨迹更复杂、更长（见图2和图3），这直接验证了定理5的理论预测，即LTC具有更强的表达能力。 * 轨迹长度的测量实验系统性地证实了理论下界所揭示的规律：轨迹长度随网络宽度线性增长（图3b）、随权重方差增大而快速增长（图3c）、对不同的ODE求解器不敏感（图3a）。对于使用tanh和sigmoid激活函数的多层连续时间网络，轨迹长度不随深度增长（图2e、图3d），这与使用ReLU和hard-tanh的网络形成对比。
2. 时间序列预测性能优越： * 在七个主要的时间序列预测基准测试中（表3），LTC在四个任务上（手势、占用率、交通、臭氧）取得了最佳性能，在其余三个任务上与最佳模型性能相当。特别是在交通流量预测任务上，LTC的均方误差（0.099）显著低于其他模型（LSTM: 0.169, CT-RNN: 0.224）。 * 在“人类活动”数据集的第二套对比实验（表5）中，LTC取得了88.2%的准确率，超越了先前研究（Rubanova et al., 2019）中报告的所有模型（最佳为Latent ODE with continuous encoder的84.6%），展现了其处理不规则采样时间序列的强大能力。 * 在Half-Cheetah物理动力学建模任务中（表6），LTC取得了最低的均方误差（2.308），表明其能够更好地捕捉和预测复杂的连续物理动态。
3. 模型特性得到体现： * LTC模型成功地将输入依赖的动态时间常数机制融入连续时间RNN框架，实现了所宣称的“液态”自适应特性。 * 所设计的融合ODE求解器和BPTT训练方案在实践中被证明是有效且稳定的，使得模型能够被成功训练并达到优异性能。 * 理论分析中证明的稳定性和有界性，在长期预测和存在噪声的实验中（如Half-Cheetah）间接得到了支持，模型未出现不稳定的发散行为。
本研究成功提出并验证了一种新型的连续时间循环神经网络——液态时间常数网络（LTC）。研究得出结论：LTC通过其输入依赖的、动态变化的时间常数机制，在神经ODE家族中实现了更高的表达能力和更复杂的动态表示。理论分析证明了其动力学行为的稳定性和有界性，以及作为通用近似器的能力。定量化的轨迹长度分析从表达能力的角度清晰地展示了LTC相对于神经ODE和CT-RNN的优越性。最后，在涵盖分类、回归、物理模拟的多样化时间序列预测任务上的实验，一致地证实了LTC相较于经典和现代RNN模型的卓越性能。
研究的科学价值在于： 1. 架构创新： 为连续时间循环神经网络提供了一个全新的、受神经科学启发的架构范式，将动态时间常数作为核心计算单元。 2. 理论贡献： 对新型连续时间模型的动力学边界、稳定性和表达能力进行了严谨的理论分析，并首次将轨迹长度度量系统性地扩展到连续时间模型家族，并推导了其增长下界，为比较此类模型的表达能力提供了理论工具。 3. 方法创新： 开发了专为LTC这类刚性方程设计的融合ODE求解器，以及强调精度的BPTT训练策略，为同类模型的实现提供了参考。
研究的应用价值在于： 1. 提升预测性能： LTC在多个实际时间序列预测任务中表现出色，为医疗监测、工业预测性维护、金融时间序列分析等领域提供了更强大的建模工具。 2. 增强模型可解释性： 由于灵感来源于生物神经元模型，且具有稳定的动态，LTC可能为构建更可解释、更可靠的时序决策模型（如机器人控制）开辟道路。论文在讨论部分也指出，LTC的动态与动态因果模型（DCM）有相似之处，未来在需要因果推理的领域（如神经科学数据分析、机器人控制）可能有重要应用。
论文在最后也坦诚地讨论了LTC模型当前的局限性： 1. 长期依赖问题： 与许多循环模型一样，LTC在训练时也可能面临梯度消失或爆炸的问题，在处理极长期依赖关系时可能并非最优选择。 2. 计算成本： 与神经ODE相比，LTC为了实现更高的表达能力和训练精度，牺牲了部分时间和内存效率（使用BPTT而非伴随法）。 3. 对求解器的依赖： 模型的性能与所选ODE求解器紧密相关，使用不当的求解器（如标准的显式欧拉法）可能导致性能下降。
这些讨论为未来的研究指明了方向，例如，如何优化LTC的训练以更好地捕捉长期依赖，如何开发更高效的训练算法以平衡内存、精度与速度，以及如何进一步探索LTC在因果推理和机器人控制等领域的应用潜力。总体而言，这项研究为连续时间深度学习领域贡献了一个富有前景的新架构，并为其奠定了坚实的理论与实验基础。