本文提出了一种新颖的方法——基于多模态融合的时空增量学习（Multimodal Fusion-based Spatiotemporal Incremental Learning），旨在增强稀疏观测（Sparse Observation）条件下的海洋环境感知（Ocean Environment Perception）。该研究由福州大学电气工程与自动化学院的雷磊（Lei Lei）和黄捷（Jie Huang），以及通讯作者周宇（Yu Zhou）共同完成，发表于《Information Fusion》期刊第108卷（2024年），文章编号102360。
一、 研究背景与目标
海洋是一个多场耦合的时空动态系统，对其环境进行精确感知对于天气和气候预测至关重要。海洋温度是受太阳辐射、水气交换和洋流影响的重要指标，其加速变暖趋势对全球气象模式和生态系统有深远影响。然而，传统的海洋观测手段面临困境：卫星遥感常受云层和太阳闪烁干扰，且观测多局限于海洋表层；浮标或船只观测成本高昂，导致时空覆盖稀疏。因此，如何利用稀疏的实时观测数据，重建和预测整个海洋环境场，成为提升遥感数据价值的关键。现有方法中，基于知识的数值模型（Knowledge-based Numerical Methods）和基于数据驱动的学习方法（Data-driven Learning Methods）各有局限。数值模型需要复杂的领域知识且存在偏差，数据驱动方法则受限于稀疏数据的质量和可解释性。为此，本文提出了一种融合多模态信息融合（Multimodal Information Fusion）和增量学习（Incremental Learning）的混合方法，旨在整合丰富的历史观测数据与稀疏的实时观测数据，实现对海洋环境从部分到整体的全面感知。
二、 研究方法与工作流程
本研究的方法论框架分为四个核心步骤：时空解耦（Spatiotemporal Disentanglement）、增量扩展（Incremental Extension）、多模态信息融合以及理论分析。研究选取了两个公开的海洋遥感数据集进行验证：一是来自美国国家海洋和大气管理局（NOAA）的全球海表温度（Sea Surface Temperature, SST）数据集，包含1990年至2023年的1727周的数据，空间范围为全球1度网格，排除陆地和冰川后共44219个空间观测点；二是来自中国国家海洋科学数据中心的西太平洋高维温度（High-Dimensional Temperature, HDT）数据集，范围从海平面到水下1000米，分为21层，时间跨度为1958年至2021年，共753个月，选取的方形研究区域内有33600个空间观测点。
时空解耦：该方法首先将高维的海洋环境场数据向量化为二维矩阵，然后通过奇异值分解（Singular Value Decomposition, SVD）将其解耦为稳定表征（Stable Representation，即空间特征模式）和动态行为（Dynamic Behavior，即时间变化特征）两个低维组件。通过设定大于99%的能量阈值（Energy Threshold）对奇异值进行截断，可以保留主导特征分量（Feature Disentanglement），实现对原始复杂系统的高效降维，同时保留了主要的空间分布模式和时间演变趋势。
增量扩展：为适应海洋环境的动态变化及持续到来的新数据，该方法设计了增量扩展策略，分为稳定表征更新和动态行为学习两部分。在稳定表征更新方面，当新的稀疏传感器数据到来时，研究通过将新数据矩阵增量式地与历史数据矩阵的QR分解（QR Decomposition）结果相结合，避免了每次更新时对所有历史数据进行重复的批量SVD分解，从而形成了一种递归更新的机制，极大地降低了计算负担。在动态行为学习方面，研究采用了一种基于李雅普诺夫（Lyapunov）稳定性理论的径向基函数网络（Lyapunov-based Radial Basis Function Network, L-RBFN）来在线预测动态行为。该网络以过去时刻的动态行为作为输入，通过高斯核函数（Gaussian Function）进行非线性映射，并根据李雅普诺夫函数设计的自适应增益（Adaptive Gain）来递归更新网络权重，从而在理论上保证了学习误差能够渐进收敛到零。
多模态信息融合：此步骤旨在利用稀疏观测信息推断出整个环境场的状态。研究首先通过矩阵映射（Matrix Mapping），构建了连接稀疏与全维动态行为的动力学扩展矩阵（Dynamical Extension Matrix）。为实现这一点，历史数据的稳定表征发挥了关键的传递作用：从历史全维数据中提取全维稳定表征，并从历史稀疏数据中提取稀疏稳定表征以作为实时稀疏稳定表征的初始值。然后，通过求解动力学扩展矩阵，即可从实时稀疏的动态行为重建出全维的动态行为。最后，将重建的全维动态行为与全维稳定表征融合，实现对整个海洋环境的全面感知。对于有实时传感器反馈的点，直接采用精度更高的稀疏感知结果；对于无传感器覆盖的点，则使用扩展重建的全维感知结果进行填充。
理论与实验验证：研究对方法的收敛性和误差边界（Error Bound）进行了严谨的理论分析。实验部分设计了包括时空解耦、增量扩展性能、与其他方法比较、环境感知效果以及消融实验在内的五项测试，并使用均方根误差（RMSE）、决定系数（R²）和相对误差等指标评估模型性能。
三、 主要实验结果与发现
时空解耦的有效性：在全球SST数据集上，解耦得到的前三个稳定表征明确揭示了SST的空间分布格局。例如，第一稳定表征反映了从赤道向两极递减的总体空间趋势；第二和第三表征则分别捕捉了南北半球温差和沿经度的温度变化模式。对应的动态行为也呈现出清晰的物理意义：第一动态行为展现了全球SST逐渐升高的长期趋势，第二动态行为则表现为显著的季节性周期波动。这表明该解耦方法不仅实现了数据降维，还具有高度的物理可解释性。
增量扩展的性能：实验表明，通过1%的均匀分布传感器（共计315个采样点），增量扩展策略能有效更新空间表征。高层级的稳定表征呈现出平缓而稳定的变化，反映出新数据引进了新的局部空间特征。动态行为的在线学习表现出色，其学习误差在经历短暂调整后呈收敛趋势。对学习率（Learning Rate）参数的分析表明，较小的学习率会导致更平滑的模型修正和更稳定的误差收敛，而增大学习率则会使稳态误差波动加剧。
与其他方法的比较：在相同条件下，本研究的提出方法在RMSE（0.2837）和R²（0.9994）指标上显著优于KL-DELM、Gaussian-LS-SVM和ST-TLS-SVM等同类感知方法。这些对比方法由于缺乏对实时信息的自适应更新机制，无法捕捉海洋环境的瞬态变化，导致性能较差。
环境感知的整体效果：在全球SST感知中，使用1%均匀传感器，全维感知的RMSE低于0.30，R²超过0.999。1990至2020年的长期趋势分析显示，夏季全球SST普遍呈上升趋势，而冬季SST整体呈下降趋势，并揭示了北极冰川融化可能导致的北半球局部夏季降温现象。在局部HDT感知中，模型性能更优，全维感知RMSE低至0.2237。该方法成功重建了海水温度从表层向深层锐减的空间分布，并追踪到不同水层的长期变化差异：表层温度以约1°C的幅度逐渐升高，中层温度波动性上升，而深层温度则持续下降了约0.5°C。
消融实验与稀疏度的影响：消融实验表明，第一主导模态（Mode #1）占据了系统绝大部分能量，缺少它将导致模型几乎失效。此外，稳定传递（Stable Transfer）模块是实现全维感知的核心，缺少它则功能无法实现；增量扩展（Incremental Extension）模块则是保证感知精度的关键，移除它将导致RMSE急剧上升。通过对0.5%至2%不同传感器稀疏度的分析发现，随着传感器数量减少，感知精度虽有微小下降，但总体保持稳健，且均匀分布的传感器布设方案始终优于随机布设方案。
四、 结论与研究价值
本研究提出了一种融合多模态信息、时空解耦与增量学习的创新性框架，成功突破了稀疏实时观测下实现海洋环境全面感知的瓶颈。其核心科学价值在于，通过结合物理原理引导的特征解耦与数据驱动的动态学习，构建了一个高精度、可解释且能自适应于动态变化的混合模型。在应用前景上，该方法能够在显著降低传感器布设和观测成本的同时，保持对环境场的高质量重建与预测，这对于气候变化研究、海洋经济以及海上可再生能源系统（如风电场和潮汐能装置的优化选址）都具有重要价值。研究的亮点在于其将时空解耦的物理洞察力与增量学习的自适应能力通过多模态融合框架进行了系统性整合，并通过严谨的理论推导和在大规模真实数据集上的详尽实验验证了其有效性。后续研究可探索将其迁移到图像处理领域的高维数据建模技术，以及贝叶斯等融合方法来进一步处理数据稀疏性问题。