本文由Stephan Rasp和Nils Thuerey共同撰写，分别来自德国慕尼黑工业大学信息学系和美国旧金山ClimateAI公司。该研究于2021年发表在《Journal of Advances in Modeling Earth Systems》期刊上，题为《Data-Driven Medium-Range Weather Prediction with a ResNet Pretrained on Climate Simulations: A New Model for WeatherBench》。该研究探讨了如何利用深度学习技术，特别是基于残差卷积神经网络（ResNet）的模型，进行中短期天气预报，并提出了一个新的模型用于WeatherBench基准测试。

研究背景与动机

传统的数值天气预报（Numerical Weather Prediction, NWP）依赖于大气和海洋的物理模型，这些模型通过离散化控制方程和参数化次网格过程来进行预测。尽管过去几十年中，随着计算能力的提升和观测数据的改进，天气预报的准确性有了显著提高，但模型的改进和参数调整仍然主要依赖于科学家的经验，而非统计方法。近年来，随着深度学习在计算机视觉和自然语言处理等领域的成功应用，研究人员开始探索是否可以通过纯数据驱动的方法来学习数值天气模型。这一思路引发了广泛的讨论，尤其是关于深度学习是否能够捕捉到由偏微分方程描述的复杂物理过程。

为了推动这一领域的发展，Rasp等人（2020b）提出了一个名为WeatherBench的基准挑战，旨在通过数据驱动的方法进行中短期天气预报。该挑战要求预测500 hPa位势高度（z500）、850 hPa温度（t850）、2米温度（t2m）和6小时累积降水（pr）等变量，预测时间最长为5天。本文的研究正是在这一背景下展开的。

研究方法与流程

本研究的主要目标是训练一个深度残差卷积神经网络（ResNet），用于预测5.625°分辨率下的位势高度、温度和降水，预测时间最长为5天。为了避免过拟合并提高预测能力，研究团队首先使用历史气候模型输出对模型进行预训练，然后在再分析数据上进行微调。

数据与评估

研究使用的数据来自WeatherBench挑战赛，包括1979年至2018年的ERA5再分析数据，分辨率为每小时。其中，2017年和2018年的数据用于评估。此外，研究还使用了CMIP6（Coupled Model Intercomparison Project Phase 6）历史模拟数据，特别是MPI-ESM-HR模型的数据，用于预训练。评估指标包括面积加权的均方根误差（RMSE）和异常相关系数（ACC），用于评估3天和5天预测的准确性。

模型架构与训练

研究采用了两种预测方法：直接预测和连续预测。直接预测为每个预测时间训练一个单独的模型，而连续预测则通过一个模型预测所有时间步长的结果。模型的基本结构是一个包含19个残差块的完全卷积ResNet。每个残差块由两个卷积块组成，卷积核大小为3，通道数为128。输入数据包括7个垂直层上的位势高度、温度、纬向风、经向风和比湿，以及2米温度、6小时累积降水、大气顶部的太阳辐射等变量。所有变量都经过归一化处理，降水数据还进行了对数变换以减少其偏态分布。

为了提升模型的泛化能力，研究团队首先使用150年的CMIP数据对模型进行预训练，然后在ERA数据上进行微调。损失函数为纬度加权的均方误差，优化器采用Adam，初始学习率为5×10^-5。训练过程中使用了早停策略，以防止过拟合。

研究结果

研究结果表明，使用CMIP数据进行预训练显著提高了模型在z500、t850和t2m预测上的表现，尤其是在较长的预测时间上。预训练有效防止了过拟合，使得模型在测试数据上的表现优于仅使用ERA数据训练的模型。对于降水预测，预训练并未显著提升模型的预测能力，这可能是因为降水本身的预测难度较大，且气候模型对降水的模拟不够准确。

在直接预测和连续预测的比较中，直接预测在3天以内的预测时间上表现更好，而连续预测在更长的预测时间上表现更优。研究团队认为，连续预测模型通过学习时间演化规律，能够更好地泛化到较长的预测时间。

与物理模型相比，数据驱动模型的表现与T63分辨率下的物理模型相当，甚至在某些变量上略优于T63模型。然而，物理模型在更高分辨率下的表现仍然优于数据驱动模型，尤其是在降水预测方面。数据驱动模型在预测过程中倾向于预测平均值，导致预测结果在较长时间后变得平滑，失去了观测数据中的变异性。

结论与意义

本研究展示了使用深度学习技术进行中短期天气预报的潜力。通过预训练和微调策略，数据驱动模型在WeatherBench基准测试中取得了新的最佳成绩。尽管数据驱动模型在较低分辨率下的表现与物理模型相当，但在高分辨率下的表现仍有待提升。研究结果表明，随着训练数据的增加和模型规模的扩大，数据驱动模型的预测能力有望进一步提升。

然而，数据驱动模型在天气预报中的应用仍面临一些挑战。首先，高分辨率下的训练数据不足，限制了模型的预测能力。其次，数据驱动模型在预测过程中倾向于平滑化结果，导致预测的变异性不足。未来的研究可以探索如何结合物理模型和数据驱动模型的优势，进一步提升天气预报的准确性。

研究亮点

1. 预训练策略：通过使用CMIP数据进行预训练，有效防止了过拟合，提升了模型的泛化能力。
2. 模型架构创新：研究采用了深度残差卷积神经网络（ResNet），并展示了其在天气预报中的有效性。
3. 与物理模型的对比：数据驱动模型在较低分辨率下的表现与物理模型相当，展示了深度学习在天气预报中的潜力。
4. 未来展望：研究指出了数据驱动模型在高分辨率天气预报中的局限性，并提出了未来可能的研究方向。

本研究为数据驱动天气预报提供了新的思路和方法，展示了深度学习在这一领域的应用前景。