kan时序

kan时序

基于可学习路径签名的Kolmogorov-Arnold网络在时间序列中的应用

本文属于类型a,即报告了一项原创性研究的科学论文。以下是对该研究的详细学术报告:

1. 主要作者及研究机构

本研究的主要作者为Hugo Inzirillo和Rémi Genet,分别来自法国巴黎综合理工学院的CREST-ENSAE研究所和巴黎多芬大学(Université Paris Dauphine - PSL)的DRM研究所。该研究于2024年6月27日发表。

2. 学术背景

本研究的主要科学领域是时间序列分析函数逼近,特别是针对多元时间序列预测的挑战。随着数据量的不断增加,研究者们提出了越来越复杂的预测框架。多元时间序列包含多个相互依赖的变量,这使得学习任务变得更加复杂。传统的预测方法如神经网络、状态空间模型、向量自回归模型等在处理非线性关系和长程依赖时存在局限性。近年来,深度学习技术如长短期记忆网络(LSTM)和注意力机制在处理时间序列数据时表现出色。然而,Kolmogorov-Arnold网络(KAN)由于其理论基础——Kolmogorov-Arnold表示定理,能够有效地逼近复杂的多元连续函数,因此在函数逼近任务中表现出独特的优势。

尽管如此,KAN在处理序列和时间数据时的表达能力和效率仍有待提高。为此,本研究提出了一种新的方法,通过引入可学习的路径签名(learnable path signatures)来增强KAN的学习能力。路径签名源自粗糙路径理论,能够通过一系列迭代积分捕捉路径的几何特征,特别适合处理复杂的序列数据。

3. 研究流程

本研究的主要流程包括以下几个步骤:

3.1 研究对象的处理与实验设计

研究的主要对象是多元时间序列数据,特别是金融市场中的交易量和价格数据。研究使用了来自Binance交易所的比特币(BTC)等数字资产的历史数据,时间跨度为2020年1月1日至2022年12月31日。

3.2 数据预处理

数据预处理分为两个阶段:首先,通过移动中位数对数据进行标准化处理,以减少时间序列的非平稳性;其次,使用最小-最大缩放(MinMax Scaling)将数据缩放到[0,1]区间,以避免学习过程中的数值爆炸问题。

3.3 模型架构

本研究提出了一种新的网络架构——签名加权Kolmogorov-Arnold网络(SigKAN),其主要组成部分包括: - 门控残差KAN(Gated Residual KAN):用于调节信息流,增强模型的表达能力。 - 可学习路径签名层(Learnable Path Signature Layer):通过可学习参数计算每个输入路径的路径签名,捕捉路径的几何特征。

SigKAN的核心思想是将路径签名与KAN的输出结合,利用路径签名提供的丰富几何信息来增强KAN的逼近能力。

3.4 实验与数据分析

研究通过两个任务来验证SigKAN的性能: 1. 交易量预测任务:预测未来多个时间步的市场交易量。 2. 绝对收益率预测任务:预测未来多个时间步的比特币价格绝对收益率。

研究使用了均方根误差(RMSE)作为损失函数,并通过R²指标评估模型的性能。实验结果表明,SigKAN在多个任务中均优于传统的LSTM、GRU和KAN模型,尤其是在短期预测任务中表现尤为突出。

4. 主要结果

研究的主要结果包括: - 交易量预测任务:SigKAN在1步、3步和6步预测中的R²值均高于其他模型,表现出更强的预测能力。 - 绝对收益率预测任务:SigKAN在1步预测中表现最佳,但在长期预测中与其他模型表现相近。 - 模型稳定性:SigKAN在不同运行中的结果表现出较高的稳定性,尤其是在长期预测任务中。

5. 结论与意义

本研究通过引入可学习的路径签名,显著提升了Kolmogorov-Arnold网络在时间序列分析中的表现。SigKAN不仅能够更好地捕捉时间序列中的复杂依赖关系,还提供了一种简单而强大的框架,适用于大规模的时间序列建模任务。该方法的创新性在于将路径签名与KAN结合,为未来的研究和应用开辟了新的方向,特别是在金融建模和时间序列分析领域具有广泛的应用前景。

6. 研究亮点

  • 创新性方法:首次将路径签名与Kolmogorov-Arnold网络结合,提出了一种新的函数逼近方法。
  • 性能提升:SigKAN在多个时间序列预测任务中均优于传统的LSTM、GRU和KAN模型。
  • 模型稳定性:SigKAN在不同运行中的结果表现出较高的稳定性,尤其是在长期预测任务中。

7. 其他有价值的内容

研究还提供了开源代码和工具包,方便其他研究者复现和扩展该研究。代码可通过pip install sigkan安装,路径签名计算工具包可通过pip install iisignature-tensorflow-2安装。

总之,本研究为时间序列分析和函数逼近领域提供了一种新的工具,具有重要的学术和应用价值。

下一篇:时间序列预测中的新型神经网络架构:Temporal Kolmogorov-Arnold Networks