关于利用Himawari-8/AHI地球静止卫星观测数据通过神经网络方法反演臭氧的学术研究报告
一、 研究团队与发表信息 本研究的主要作者包括Xingfeng Chen, Yichu Yang, Wu Xue, Jiaguo Li, Banghui Yang, Kaitao Li, Lili Wang, Lei Li, Shumin Liu以及Gerrit de Leeuw。研究团队来自多个知名机构,包括中国科学院空天信息创新研究院、江西理工大学软件工程学院、航天工程大学、中国科学院大气物理研究所大气环境与极端气象重点实验室、中国气象科学研究院灾害天气国家重点实验室及大气化学重点实验室,以及荷兰皇家气象研究所。这项研究成果以论文《A neural network method for ozone retrieval using Himawari-8/ahi geo-satellite observations》的形式,发表于IEEE Transactions on Geoscience and Remote Sensing期刊,卷63,2025年,文章编号4103714。论文于2025年1月24日收到,2025年3月3日被接受,2025年3月5日在线发布。
二、 学术背景与研究目的 本研究属于大气环境遥感与卫星数据反演领域,具体聚焦于大气臭氧总量的高时空分辨率监测。臭氧是大气中一种至关重要的痕量气体,其空间分布(平流层与对流层)决定了其对地球生命系统的双重影响:平流层臭氧吸收有害的太阳紫外辐射,保护地球生物;而对流层臭氧则是一种重要的二次污染物,对气候、人类健康和生态系统产生不利影响。因此,对大气臭氧浓度和空间分布进行持续、精确的监测具有重大科学意义和应用价值。
传统的臭氧监测手段存在局限性:地面监测站点(如中国的国家环境监测中心网络和Pandonia全球网络的Pandora仪器)空间分布稀疏,无法提供全面的空间覆盖。卫星遥感提供了全球观测能力,但常用的极轨卫星(如搭载TOMS、OMI、TROPOMI等仪器的卫星)通常每日仅有一次过境,时间分辨率低,在多云条件下数据获取更受限。地球静止卫星(Geostationary Satellite)能够对固定区域进行高频次观测(例如每10分钟一次),为监测臭氧的日变化和快速变化过程提供了独特优势。
日本的Himawari-8(H8)卫星是新一代地球静止气象卫星,其搭载的先进葵花成像仪(Advanced Himawari Imager, AHI)拥有16个光谱波段,其中包括对臭氧吸收敏感的9.6微米波段。然而,与专门用于大气成分监测的高光谱传感器相比,AHI作为多光谱传感器,其波段信息有限,且日本气象厅并未官方发布基于H8/AHI的臭氧产品。此前已有研究尝试利用H8/AHI数据反演臭氧,但大多依赖于外部数据源(如OMI臭氧数据、ERA5再分析资料中的气象变量、MODIS的NDVI等),这种多源数据依赖增加了数据获取和处理的复杂度与时间成本,不利于快速环境监测与响应。
因此,本研究旨在开发一种仅使用Himawari-8/AHI卫星自身观测数据,无需依赖其他外部数据源的臭氧总量(Total Column Ozone, TCO)反演方法。具体目标是:构建一个全连接神经网络(Fully Connected Neural Network, FCNN)模型,利用AHI的16个波段数据以及观测几何参数(卫星/太阳天顶角、方位角),实现对整个H8全圆盘(覆盖亚洲、大洋洲及周边广阔区域)无云区域高精度、高时空分辨率的TCO反演,空间分辨率达到2公里,时间分辨率达到10分钟。该方法被命名为NNO3-G。
三、 详细研究流程与方法 本研究的工作流程系统而严谨,主要包括以下几个关键步骤:
1. 研究区域与数据集准备 * 研究区域:Himawari-8卫星的全圆盘覆盖区,地理范围约为南纬60度至北纬60度,东经80度至西经160度。该区域涵盖亚洲、大洋洲众多国家和地区,人口与经济总量占全球很大比重,臭氧污染问题备受关注。 * 输入数据(特征):Himawari-8/AHI L1级数据(2019-2021年)。包括:16个波段的观测值(3个可见光、3个近红外的辐射率,10个热红外波段的亮温);观测几何参数:卫星天顶角(SAZ)、卫星方位角(SAA)、太阳天顶角(SOZ)、太阳方位角(SOA);以及L2级云产品作为云掩膜,用于筛选无云像元。数据空间分辨率2公里,时间分辨率10分钟。 * 训练标签(真值):ERA5再分析数据集提供的每小时、0.25度空间分辨率的臭氧总量数据。ERA5融合了多种卫星和观测资料,其臭氧数据被用作训练神经网络模型的“地面真值”。 * 验证数据: * Pandora地基观测数据:提供高精度、高频次的TCO测量值,用于对反演结果进行独立验证。 * OMI和TROPOMI卫星臭氧产品:作为卫星交叉验证的参考数据。
2. 数据集预处理与样本构建 这是确保模型质量的关键环节,具体包括: * 时空匹配:将高分辨率的AHI像元与较低分辨率的ERA5网格进行匹配。对于每个ERA5网格(0.25°×0.25°),仅选取该网格内最接近其中心点的那个无云AHI像元作为代表,以避免空间匹配误差。同时,剔除了太阳天顶角大于75度的像元(观测条件不佳)。 * 空间均匀化处理:初步匹配后的样本在空间上分布不均(陆地上多,海洋上少)。为提高模型在不同地理位置上的泛化能力,对每个样本网格每年随机保留3个样本,从而使样本在研究区域内分布更均匀。最终,构建了包含约204.9万个有效样本的数据集。 * 数据集划分:将总样本随机分为训练集(80%,约164.0万个样本)和测试集(20%,约41.0万个样本)。 * 特征与标签定义:每个样本包含20个输入特征(16个波段观测值 + 4个几何角)和1个输出标签(ERA5 TCO值)。
3. 神经网络模型(NNO3-G)的开发与训练 本研究提出并优化了一个专门的全连接神经网络(FCNN)架构。 * 模型选择依据:研究团队测试了XGBoost、随机森林(Random Forest)等其他机器学习模型。但由于决策树类模型在拟合臭氧浓度这种具有良好连续性和平滑性的参数时,可能在某个参数维度(如太阳天顶角)上产生“断层”,因此最终选择了非线性拟合能力更强、输出更平滑的FCNN。 * 模型架构:基于Keras深度学习库构建。具体结构包括: * 输入层:接收20维特征。 * 隐藏层:包含多个全连接层(如256, 512, 256, 256个神经元),使用ReLU激活函数。为了提升模型稳定性和防止过拟合,在每一层后都加入了批归一化(Batch Normalization)层和Dropout层,并在隐藏层中使用了L2正则化。 * 输出层:一个神经元的全连接层,用于输出连续的TCO预测值。 * 训练配置:使用随机梯度下降(SGD)优化器,学习率设为0.001。损失函数用于评估模型预测值与ERA5标签之间的差异。采用决定系数(R²)、均方根误差(RMSE)、平均绝对误差(MAE)和皮尔逊相关系数(r)作为模型性能的评价指标。
4. 反演与验证流程 训练好的NNO3-G模型可直接应用于任何时刻、任何无云的AHI像元,反演出2公里分辨率的TCO图。随后,利用独立的测试集、时间独立数据(2022年)、以及Pandora、OMI、TROPOMI等独立观测数据,对反演结果进行多角度、多层次的验证与评估。
四、 主要研究结果 研究结果从多个维度证实了NNO3-G方法的有效性和优越性。
1. 模型反演性能核心评估 * 基于测试集的验证:使用未参与训练的20%样本(约41万个)进行验证,结果显示NNO3-G反演的TCO与ERA5验证数据高度一致:R² = 0.97, RMSE = 7.91 DU, MAE = 5.16 DU。约70%的误差在±4 DU以内,误差大于±20 DU的点不足3%。这表明模型具有极高的拟合精度。 * 时间独立性验证:使用完全未参与模型训练的2022年数据进行验证,性能略有下降但仍非常优秀:R² = 0.94, RMSE = 13.63 DU, MAE = 8.36 DU。这证明了模型具有良好的时间泛化能力。
2. 与独立地基观测的对比验证 与Pandora地基观测网络在2021年的数据进行时空匹配后,获得了约3584个验证点。对比结果显示,NNO3-G产品与Pandora数据相关性极高:皮尔逊相关系数 r = 0.95, R² = 0.89, RMSE = 12.23 DU, MAE = 8.88 DU。这强有力地证明了反演产品在实际观测中的可靠性和准确性。
3. 与其它卫星产品的交叉验证 * 与OMI对比:在2021年5月18日的数据对比中,两者相关性高(r=0.95),但NNO3-G反演的TCO系统性高于OMI产品约3%。论文指出,已有研究显示OMI产品本身可能存在约1.1%的低估偏差。 * 与TROPOMI对比:在相同日期的对比中,两者表现出极好的一致性:r = 0.99, R² = 0.97, RMSE = 6.35 DU, MAE = 4.82 DU。NNO3-G反演值略低于TROPOMI约1%,而TROPOMI产品的验证偏差在0%-1.5%之间。这是一个非常重要的发现:尽管Himawari-8是气象卫星,并非专门的气体观测卫星,仅凭其多光谱AHI数据(主要依靠9.6微米单波段信息),通过NNO3-G方法反演的TCO,其精度可与TROPOMI这种专门用于大气成分监测的高光谱仪器相媲美。图11的空间分布对比图也直观展示了两者高度一致的空间模式。
4. 反演性能的空间(纬度)与时间(季节)变化分析 * 纬度依赖性:模型在不同纬度带的性能存在差异。在低纬度地区(臭氧浓度通常在250-350 DU范围内),反演精度最高(绝对误差小)。随着纬度升高,RMSE和MAE逐渐增大,尤其在南北纬40-60度区域误差最大。这可能是由于高纬度地区臭氧总量更高、变化更复杂,且用于训练的ERA5数据在这些区域本身可能存在更大不确定性。尽管如此,即使在高纬度地区,模型仍保持较高的相关性(r > 0.97)。此外,反演结果正确反映了北半球中高纬度TCO普遍高于南半球同纬度地区的已知事实。 * 季节性变化:模型在不同季节的性能表现稳定。综合各项指标看,夏季(JJA)的反演性能最佳,春季(MAM)的绝对误差稍大但相关性仍然极高(r=0.99, R²=0.98)。这表明NNO3-G方法对季节变化不敏感,具备全年稳定运行的能力。
5. 与既往研究的比较 论文将NNO3-G与之前利用Himawari-8数据反演臭氧(包括近地面臭氧和臭氧总量)的研究进行了对比(见表III)。无论是与基于非线性最优估计的物理方法相比,还是与依赖多源数据的机器学习方法(如SGLBoost、Bagged-Tree、Deep Forest)相比,NNO3-G在TCO反演上展现了最佳的精度指标(R², RMSE等)。这凸显了其方法的先进性。
6. 高时空分辨率产品示例 研究展示了利用NNO3-G方法生成的2021年5月18日02:00至07:00 UTC每小时TCO产品图(图12)。这些图像清晰揭示了TCO在短时间内的空间变化细节,例如在20-30°N, 140-160°E区域TCO的逐渐增加,以及在40-50°N, 80-100°E区域的减少,生动体现了地球静止卫星高时间分辨率监测的动态过程优势。
五、 研究结论与价值 本研究成功开发并验证了一种名为NNO3-G的、仅基于Himawari-8/AHI单一数据源的全连接神经网络方法,用于反演大气臭氧总量。该方法能够生成空间分辨率2公里、时间分辨率10分钟的高频TCO产品。
科学价值与应用价值: 1. 方法学创新:证明了仅利用地球静止气象卫星的多光谱数据,无需引入外部辅助数据,即可实现高精度的臭氧总量反演。这简化了数据处理流程,降低了对外部数据源的依赖,提高了监测效率,为快速环境监测响应提供了技术基础。 2. 数据产品价值:生成了首个基于Himawari-8/AHI的、具有高时空分辨率的准实时TCO产品。其精度与专门的大气成分监测卫星(如TROPOMI)相当,但时间分辨率(10分钟)远高于极轨卫星(每天1-2次),填补了该区域高频次臭氧卫星监测的空白。 3. 应用潜力:该产品可用于研究臭氧的日变化、输送过程、平流层-对流层交换等快速变化的天气和气候过程。为区域空气质量监测、紫外辐射预报、气候模型验证等提供了重要的数据支撑。 4. 推广意义:该方法可推广至其他具有类似光谱通道的地球静止卫星(如中国的风云四号、美国的GOES系列等),推动构建全球地球静止卫星臭氧协同监测网络。
六、 研究亮点 1. “单星单源”反演:最大的创新点在于仅依赖Himawari-8/AHI自身观测数据(16个波段+几何角)完成反演,摒弃了对OMI、气象再分析资料等多源外部数据的依赖,实现了数据源的极大简化。 2. 高精度与高分辨率兼备:反演产品在达到与专业大气化学成分传感器(TROPOMI)相当精度的同时,提供了高达2公里(空间)和10分钟(时间)的观测分辨率,这是极轨卫星难以企及的。 3. 先进的机器学习应用:针对臭氧反演这一复杂非线性问题,精心设计并优化了FCNN模型架构(包括层数、神经元数量、批归一化、Dropout、正则化等),并通过大规模样本训练和严格的验证,证明了其优越性能。 4. 全面系统的验证:不仅使用预留测试集,还综合利用了时间独立数据、全球地基观测网络(Pandora)和多种主流卫星臭氧产品(OMI, TROPOMI)进行多层次、多角度的交叉验证,结论坚实可靠。 5. 深入的误差与性能分析:系统分析了反演精度随纬度和季节的变化规律,增进了对模型性能边界和适用条件的理解,为产品的科学使用提供了重要参考。
七、 其他有价值的内容 论文在讨论部分提到了未来工作的一个方向:开发夜间臭氧反演算法,与日间的NNO3-G算法结合,可提供更完整的时空覆盖。这指出了该研究后续发展的一个潜在重要扩展。此外,研究得到了中国“十四五”民用航天技术预先研究项目、国家重点研发计划、国家自然科学基金等多个项目的支持,体现了该研究方向的重要性和受关注程度。