《哈尔滨工业大学学报》于2025年3月21日网络首发了由沈瑜、李江柽、梁栋、王若暄、吴红刚、马殷军、严源、马煜堃、刘佳英、闫佳荣等人共同撰写的论文《特征选择的高效时间序列预测模型》。该研究由兰州交通大学电子与信息工程学院、中铁西北科学研究院有限公司、中国铁路青藏集团有限公司、中国中铁科学研究院集团有限公司等多个机构联合完成。研究旨在解决时间序列预测领域中普遍存在的计算复杂度高、推理速度慢以及关键信息容易丢失的问题，提出了一种基于特征选择的高效时间序列预测模型（Targetformer）。
时间序列预测是时间序列分析领域的重要研究方向，广泛应用于能源消耗、交通、经济规划、天气预报、疾病传播以及突发灾害预测等领域。随着数据量的增加和计算能力的提升，传统的统计学习方法和机器学习方法在处理大规模时序数据时表现出局限性，尤其是在捕捉长时依赖关系和复杂时间序列模式方面。近年来，深度学习技术，特别是基于Transformer的模型，在时间序列预测中展现出强大的能力，但仍存在参数量大、计算资源消耗高的问题。为此，本研究提出了Targetformer模型，旨在通过特征选择机制和倒置输入编码块，优化Transformer模型的计算效率，同时保持较高的预测精度。
Targetformer模型基于Transformer仅编码器架构构建，包含倒置输入编码块（Inverted Embedding）、特征选择Transformer块（Targetformer Block）和投影层（Projection）三部分。倒置输入编码块将每个变量的整条时间序列独立地映射为一个token，增强模型的全局信息捕捉能力。特征选择Transformer块通过特征选择性注意力机制（Target-Attention），仅计算待预测目标特征与其他特征之间的注意力分数，减少计算量并提升预测精度。
研究采用了6个数据集进行验证，包括5个基准数据集（ETT、Weather、Exchange、ILI、Traffic）和1个应用数据集（Landslide）。所有数据集均经过缺失值填补、异常值剔除、数据平滑处理和归一化等预处理步骤，以确保数据质量。数据集按时间顺序分为训练集、验证集和测试集，比例分别为6:2:2或7:1:2。
实验在Windows 10操作系统下进行，硬件环境为Intel Core i7-9700K CPU和NVIDIA GeForce RTX 2080 Ti GPU，软件环境为Python 3.8.18、PyTorch 1.12.1和CUDA 11.3。训练过程中采用Adam优化器，初始学习率为0.0001，损失函数为均方误差损失，迭代次数为20，批量大小为32。
研究选取了10个主流预测模型进行对比，包括传统预测方法（ARIMA）、基于RNN的方法（GRU、LSTNet）、基于CNN的方法（TCN、ModernTCN）以及基于Transformer的方法（iTransformer、Informer、Crossformer、Pathformer、Flowformer）。实验结果表明，Targetformer在均方误差（EMS）和平均绝对误差（EMA）两个性能指标上均取得了最优的结果，特别是在处理大规模数据集和长序列预测任务时表现出优越的泛化能力和鲁棒性。
为了验证倒置输入编码块和特征选择性注意力机制的有效性，研究进行了消融实验。结果表明，加入倒置输入编码块后，模型的预测精度显著提升；进一步加入特征选择性注意力机制后，模型的收敛速度显著提高，计算成本降低，验证了这两个模块在提升模型效能与效率方面的双重有效性。
在基准数据集上的实验结果表明，Targetformer在EMS和EMA两个性能指标上均优于其他模型。例如，在ETT数据集上，预测长度为96时，Targetformer的EMS为0.110，EMA为0.249，均显著低于其他模型。在滑坡灾害预测数据集上，Targetformer同样取得了最优的结果，预测长度为48时，EMS和EMA分别为1.003和0.561，相较于最优方法分别降低了37.4%和34.4%。
本研究提出的Targetformer模型通过倒置输入编码块和特征选择性注意力机制，显著提升了时间序列预测的准确性，并降低了计算复杂度。该模型不仅在理论上具有创新性，而且在实际应用中表现出色，为时间序列预测领域提供了一种高效且实用的解决方案。特别是在滑坡灾害预测等复杂且高度动态的任务中，Targetformer能够有效捕捉数据中的关键信息，提供更为精确和可靠的预测结果。
本研究不仅为时间序列预测领域提供了一种新的高效模型，还为相关领域的应用提供了重要的技术支持。特别是在能源消耗、交通规划、天气预报、疾病传播以及滑坡灾害预测等实际应用中，Targetformer能够为决策提供科学依据，具有重要的现实意义和应用价值。