分享自:

MIIDAPS-AI:一种可解释的机器学习算法在红外和微波遥感及数据同化预处理中的应用

期刊:IEEE Journal of Selected Topics in Applied Earth Observations and Remote SensingDOI:10.1109/JSTARS.2021.3104389

本文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


研究作者与机构
本研究由Eric S. Maddy和Sid A. Boukabara共同完成。Eric S. Maddy来自Riverside Technology, Inc.,而Sid A. Boukabara则隶属于美国国家海洋和大气管理局(NOAA)的卫星应用与研究中心(STAR)。该研究于2021年发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》期刊上。

学术背景
本研究的主要科学领域是卫星遥感与数据同化预处理,特别是利用人工智能(AI)技术处理红外和微波遥感数据。随着地球观测卫星数量的增加,尤其是小型卫星(smallsats)和立方体卫星(cubesats)的兴起,遥感数据量急剧增长,传统的数据处理方法在效率和规模上已无法满足需求。因此,本研究旨在开发一种高效且可解释的机器学习算法,即MIIDAPS-AI(Multi-Instrument Inversion and Data Assimilation Preprocessing System - Artificial Intelligence),以替代传统的遥感算法,如微波集成反演系统(MIRS)和NOAA独特的CRIS/ATMS处理系统(NUCAPS)。MIIDAPS-AI的目标是从红外和微波传感器中提取温度、湿度、地表参数和云参数等地球物理信息,并显著提高计算效率。

研究流程
MIIDAPS-AI的开发与验证包括以下几个主要步骤:

  1. 算法设计与实现
    MIIDAPS-AI基于深度全连接神经网络,通过非线性映射将仪器测量数据(如红外辐射或微波亮温)与地球物理参数(如温度、湿度、云参数等)关联起来。算法的输入包括辐射观测数据、仪器视角/太阳角度、预测地表压力等辅助信息,输出则包括云参数、光谱分辨率的地表发射率、地表温度、温度和湿度剖面以及辐射偏差校正。算法的训练使用了数百万个训练样本,这些样本包括仪器测量数据、数值天气预报(NWP)场、地表发射率以及基于社区辐射传输模型(CRTM)的模拟数据。

  2. 训练与优化
    训练数据涵盖了多个年份和季节,确保算法能够处理各种天气条件和地表类型。训练过程中,数据被随机分为训练集和测试集,采用80/20的比例。网络参数的优化使用了Keras深度学习框架和Adam优化器。网络架构和节点数通过粗网格搜索进行优化,最终选择了2到4层、32到1024个节点的网络结构。

  3. 性能评估
    MIIDAPS-AI的性能通过与NWP模型、传统遥感算法和无线电探空仪数据的对比进行评估。研究使用了来自JPSS ATMS和CRIS传感器的真实数据,评估了温度、湿度剖面、总可降水量(TPW)等参数的准确性。结果表明,MIIDAPS-AI在计算效率上比传统算法提高了两个数量级,且在精度上没有明显下降。

  4. 解释性与误差量化
    为了增强算法的可信度,研究还探讨了MIIDAPS-AI的敏感性分析,通过自动生成的雅可比矩阵(Jacobians)来解释算法的输出。此外,研究提出了两种误差量化方法:非线性蒙特卡罗误差估计和线性蒙特卡罗/解析投影误差估计。这些方法能够量化由于仪器噪声引起的随机误差,但无法完全反映算法的不确定性。

主要结果
1. 算法性能
MIIDAPS-AI在温度、湿度剖面和TPW等参数的提取上表现出与传统算法相当的精度,但其计算效率显著提高。例如,MIIDAPS-AI能够在一天内处理720天的ATMS微波数据,而传统算法MIRS只能处理3.6天。

  1. 空间一致性与参数相关性
    MIIDAPS-AI生成的地球物理参数在空间变异性和参数相关性上与ECMWF模型一致,表明算法能够捕捉到真实观测中的高频特征。

  2. 解释性与误差量化
    通过雅可比矩阵分析,MIIDAPS-AI的敏感性与其物理预期一致,表明算法能够从适当的通道中提取正确的信息。误差量化方法虽然低估了实际误差,但仍为算法的随机误差提供了有效的估计。

结论
MIIDAPS-AI是一种高效的遥感算法,能够从红外和微波传感器中同时提取多种地球物理参数。其计算效率比传统算法提高了100倍,且精度相当。该算法不仅能够处理现有卫星数据,还可以扩展到未来的小型卫星和立方体卫星,为应对大数据挑战提供了解决方案。此外,MIIDAPS-AI的透明性和误差量化机制增强了其可信度,使其成为未来实时处理卫星数据的候选算法。

研究亮点
1. 高效性:MIIDAPS-AI的计算效率比传统算法提高了两个数量级,能够处理更大规模的卫星数据。 2. 多参数提取:算法能够同时提取温度、湿度、云参数、地表发射率等多种地球物理参数,且这些参数在物理上具有一致性。 3. 可解释性:通过自动生成的雅可比矩阵,MIIDAPS-AI的输出具有物理可解释性,增强了算法的可信度。 4. 扩展性:算法可以轻松扩展到新的传感器,包括未来的小型卫星和立方体卫星。

其他有价值的内容
MIIDAPS-AI不仅可以用于数据同化预处理,还可以为数值天气预报系统提供动态变化的边界条件,如地表发射率和痕量气体浓度。此外,该算法还可以用于评估未来传感器的性能,为卫星设计提供参考。


这篇报告详细介绍了MIIDAPS-AI算法的开发、验证及其在遥感领域的应用价值,为相关领域的研究人员提供了全面的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com