**基于几何启发的Transformer模型CIRT：全球次季节至季节气候预测新突破** --- **一、研究团队与发表信息** 本研究由香港科技大学（广州）及香港科技大学的Yang Liu、Zinan Zheng、Jiashun Cheng等学者联合阿里巴巴集团DAMO Academy团队共同完成，以会议论文形式发表于**ICLR 2025**，标题为《CIRT: Global Subseasonal-to-Seasonal Forecasting with Geometry-Inspired Transformer》。 **二、研究背景与目标** **科学领域**：本研究属于气象预测与人工智能交叉领域，聚焦于**次季节至季节（Subseasonal-to-Seasonal, S2S）气候预测**，时间尺度为2-6周，对农业规划、灾害防控（如热浪、干旱）至关重要。 **问题与挑战**：传统物理驱动的数值天气预报模型（NWP）存在计算成本高、偏差大的问题；而现有数据驱动模型将球面气象数据视为平面图像处理，忽略了地球几何特性（如纬度圈周期性、高纬度区域变形），导致空间关系建模不准确。 **研究目标**：提出**几何启发的圆形Transformer（CIRT）**，通过结合球形几何先验知识，提升S2S预测精度，超越现有数据驱动模型及物理模型。 --- **三、方法与流程** 1. **模型设计核心** - **圆形分块策略（Circular Patching）**： - 传统方法将经纬度网格划分为固定大小的矩形块（如3°×3°），但高纬度区域实际面积膨胀，导致信息分布不均。 - CIRT按纬度分解气象数据，将每条纬度圈上的数据作为圆形块（patch），保留几何一致性（如相邻块等距，几何长度由纬度决定）。 - **频率域自注意力机制**： - 利用离散傅里叶变换（DFT）将圆形块转换为频率域信号，捕捉空间周期性（2π周期）。 - 在频率域执行多头注意力，通过逆变换（IDFT）还原空间域特征，避免平面投影的几何失真。 2. **模型架构** - **输入处理**：气象数据（如ERA5数据集）按纬度分块，嵌入为向量后加入位置编码。 - **Transformer编码器**：包含8层，每层在频率域计算注意力权重，混合跨纬度信息。 - **输出头**：直接预测第3-4周及5-6周的平均气象变量，避免迭代预测的误差累积。 3. **训练与评估** - **数据集**：使用ECMWF的ERA5再分析数据（1979-2016年训练），分辨率1.5°（121×240网格），包含63个变量（如温度、风速、位势高度）。 - **损失函数**：均方误差（MSE）加权平均，考虑纬度权重。 - **对比模型**： - 数据驱动基准：FourCastNetV2、PanguWeather、GraphCast、ClimaX。 - 物理模型基准：ECMWF、UKMO、NCEP、CMA。 --- **四、主要结果与贡献** 1. **性能优势** - 在**全球尺度**上，CIRT的RMSE显著低于所有基准模型。例如： - 位势高度（z500）：比最佳基准ClimaX降低20.8%（周3-4）和23.9%（周5-6）。 - 温度（t850）：误差较ECMWF物理模型减少约30%。 - **高纬度区域改进更显著**：传统模型在高纬度的RMSE普遍较高，而CIRT通过几何校正，误差相对降低达16%-20%。 2. **关键发现** - **直接预测策略**：相比迭代预测（如PanguWeather），直接输出S2S尺度结果减少误差累积，周5-6预测性能下降幅度更小。 - **频率域注意力有效性**：消融实验显示，结合圆形分块与频率域操作能将z500预测误差从497降至477（周3-4）。 3. **可视化验证** - 全球RMSE分布图显示，CIRT在南极和北半球大陆（如北美）等传统难点区域误差更低（见图4、7）。 - 月度分析表明，CIRT在全年各月份均保持稳定性能（图5、14）。 --- **五、结论与价值** **科学意义**： - 首次将球面几何先验（圆形分块、频率域周期性）引入Transformer设计，解决了气象数据投影失真问题。 - 证明了直接学习初始状态与S2S状态的映射关系优于迭代预测范式。 **应用价值**： - 可集成至实时气候预测系统，提升农业、能源等行业的长周期决策能力。 - 模型开源（GitHub代码链接），参数量仅16M，计算效率优于GraphCast（37M）等大模型。 **未来方向**： - 扩展至三维建模（垂直气压层交互）。 - 融合海洋、陆地等慢变地球系统组件。 --- **六、研究亮点** 1. **方法创新**： - 圆形分块策略首次实现气象数据的几何标准化。 - 频率域注意力机制为周期性时空数据建模提供新思路。 2. **性能突破**： - 超越ECMWF等权威物理模型，成为S2S预测新标杆。 - 在NeurIPS 2024 SubseasonalClimateUSA基准测试中刷新记录。 3. **跨学科影响**： - 框架可迁移至其他球面数据分析任务（如地球物理、天体物理）。 - 推动AI for Science在气候领域的工程化落地。