本文介绍了一项发表于ACM MM ‘25: Proceedings of the 33rd ACM International Conference on Multimedia (October 2025) 的原创性研究工作。该研究由Xiangxian Li（山东大学威海校区）、Yawen Zheng（中国科学院软件研究所/山东大学软件学院）、Baiqiao Zhang（山东大学/香港科技大学）、Yijia Ma、Xianhui Cao、Juan Liu、Yulong Bian、Jin Huang（中国科学院软件研究所）、Chenglei Yang（山东大学软件学院）等学者共同完成。论文题为《MAGNET: Multimodal Adaptive Gaussian Networks for Intent Inference in Moving Target Selection Across Complex Scenarios》，旨在解决复杂场景下移动目标选择的意图推断难题。
一、 学术背景
本研究属于人机交互与多媒体交互领域，具体聚焦于移动目标选择这一基础且关键的任务。随着多媒体交互系统（如移动设备上的直播、VR游戏等）的普及，用户越来越多地在动态、复杂的环境中进行交互，例如在行驶的车辆中操作平板电脑。在这些场景下，车辆振动、用户姿态变化、目标运动等多种因素交织，导致用户难以精确选择移动目标，误触率升高，严重影响了交互效率和用户体验。
传统方法，尤其是基于三元高斯模型的贝叶斯推断框架，通过将选择端点分布与目标属性（大小、速度）相关联，在建模选择不确定性方面取得了成功。然而，这些方法存在两大局限：首先，它们通常需要针对每一个新场景收集大量训练数据来拟合模型参数，数据获取成本高昂；其次，模型缺乏跨场景的迁移能力，在一个场景下训练的模型难以直接应用于另一个不同的环境（例如，从静止手持场景迁移到车辆振动场景），这极大地限制了其在多样化现实环境中的实际部署。
因此，本研究旨在解决上述问题。其核心目标是开发一个能够利用少量样本快速适应新场景、并能融合多模态上下文信息的意图推断框架。研究团队希望结合经典的统计建模与情境感知的多模态学习方法，构建一个既保持模型可解释性，又具备强大泛化能力和自适应性的系统。
二、 研究详细工作流程
本研究的工作流程系统性地涵盖了从问题定义、方法提出、数据收集到实验验证的全过程，主要包括以下几个步骤：
1. 问题定义与框架提出： 研究首先形式化了复杂场景下移动目标选择的意图推断问题。随后，提出了名为MAGNET的创新框架。MAGNET的核心思想是：不再为每个新场景从头训练一个模型，而是动态融合来自多个已知场景的、预先拟合好的“专家”三元高斯模型。它通过实时感知用户特征、环境传感器数据和任务上下文等多模态信息，计算出一组自适应权重，将这些专家模型的预测结果以高斯混合模型的形式进行组合，从而生成针对当前特定情境的、更准确的端点概率分布。
2. 数据收集与数据集构建： 为了在真实复杂场景下验证MAGNET，研究团队自主构建了2D和3D移动目标选择数据集。 * 参与者：招募了10名右利手、有触屏设备使用经验的参与者（3名女性，平均年龄23.4岁）。 * 实验设备与环境：在一个2公里长的封闭校园环路上进行实车实验。使用华为MatePad Pro平板进行2D任务，使用Pico 4 VR头显进行3D任务。环境振动数据通过安装在车辆上的惯性传感器采集，包括加速度和振动速度、角度、位移、频率等信息，并计算了符合ISO 2631-1标准的加权均方根加速度作为振动强度指标。 * 实验设计： * 2D任务：采用被试内设计，因素包括目标大小（4个水平）、目标速度（4个水平）和交互姿势（平板固定于车内 vs. 手持平板）。每位参与者在每种条件下完成12次试验，共产生3840个2D触摸样本。任务界面中，15个圆形目标（其中1个为绿色目标）随机运动，参与者需快速准确地点击绿色目标。 * 3D任务：同样采用被试内设计，因素包括目标大小（4个水平）和目标速度（4个水平）。每位参与者在每种条件下完成6次试验，共产生960个3D指向样本。在VR环境中，参与者使用手柄控制光标来选择5个运动球体中的红色目标。 * 数据处理：记录了每次选择任务的端点坐标、目标属性、用户特征（年龄、性别、姿势）以及选择前3秒内的环境传感器数据。最终构建了MTS-2D（3840样本）和MTS-3D（960样本）两个数据集，并按照目标条件均匀划分了测试集和验证集。
3. MAGNET框架的详细构建： MAGNET框架包含三个核心模块，其工作流程如下： * 多模态情境感知加权模块：此模块负责编码和融合异构的上下文信息。它包含四个专用编码器： * 用户特征编码器：处理用户手势类型、年龄、性别等归一化后的特征。 * 环境特征编码器：使用带有时序注意力机制的双向GRU网络，处理来自加速度和振动传感器的时序数据，以聚焦关键时间步。 * 目标特征编码器：处理目标的空间坐标、大小、速度等属性。 这些编码后的特征被拼接起来，输入到一个情境感知加权模型中。该模型是一个包含线性层、LeakyReLU激活函数、批归一化和Dropout的小型神经网络，其输出是针对K个预训练专家模型的一组融合权重（权重和为1）。 * 高斯参数自适应调整模块：此模块负责对每个“专家”模型的参数进行微调，使其适应当前具体的目标和上下文。研究者为每个目标建立一个基于其几何属性的坐标系（法线和切线轴）。然后，利用从上一模块获得的目标特定特征和全局上下文特征，通过一个“专家适应”过程来调整每个专家模型的参数。为了防止多个专家模型参数趋同，还引入了多样性约束损失，鼓励专家们保持差异性。最后，根据调整后的参数，为每个专家和目标生成一个高斯分布。 * 多专家融合模块：此模块将上述步骤的结果整合。它使用情境感知加权模块产生的权重，对K个专家生成的高斯分布进行加权求和，形成一个高斯混合模型。这个GMM输出一个概率密度函数，用以描述在当前多模态上下文下，用户选择端点落在空间各位置的概率。最终的预测通过计算各个目标被选中的概率，并选择概率最高的目标作为用户意图来实现。 * 训练策略：模型的总损失函数由两部分组成：基于排序的约束损失（确保真实目标比负样本有更高的概率）和多样性约束损失。使用AdamW优化器进行训练。
4. 实验设计与评估： 研究设计了详尽的实验来评估MAGNET的性能。 * 基线方法：包括基于边界的方法（触点落在目标内即算成功）、基于距离的方法（选择离触点最近的目标）以及多个专家模型（分别使用坐姿固定、坐姿手持、行走手持场景数据拟合的三元高斯模型，以及一个已有的3D三元高斯模型）。 * 评估设置：为了测试MAGNET在少样本学习下的能力，设定了1-shot、3-shot、5-shot和10-shot等不同训练样本量的条件（例如，1-shot指每位参与者在每种目标大小和速度组合下仅贡献1个样本）。 * 评估指标：主要使用Top-1错误率和Top-2错误率。此外，为了分析模型在不同振动强度下的表现，还根据加速度和振动数据的聚类结果（分为高振动组G2和低振动组G1）以及RMSA均值，分别计算了分组错误率。
三、 主要研究结果
实验结果表明，MAGNET框架在多个方面显著优于基线方法，验证了其有效性。
1. 与基线方法的对比结果： 在MTS-2D和MTS-3D数据集上，MAGNET在所有少样本设置下均取得了最低或接近最低的错误率。 * 基线方法表现：基于边界的方法错误率极高（2D上约80%，3D上约84%），凸显了在复杂动态场景中直接选择移动目标的困难。基于距离的方法虽有改善，但性能仍远逊于专家模型，表明简单的几何距离不足以捕捉用户意图的不确定性。 * 专家模型表现：各专家模型在其对应训练场景下表现良好，但泛化能力有限。例如，在2D数据集中，专家（s-h）和专家（w-h）的表现优于专家（s-f），说明模型性能对训练场景敏感。 * MAGNET的优越性：MAGNET即使在仅有1个或2个样本的极端少样本条件下，其性能也能与甚至超越在大量数据上训练的单一专家模型。例如，在MTS-3D数据集上，MAGNET（2-shot）的Top-1错误率低至0.44%，远低于专家（3d）模型的27.59%和基于距离方法的40.47%。这证明了MAGNET通过融合多专家知识和多模态上下文，能够以极少的样本快速适应新场景，实现强大的泛化。
2. 专家选择消融实验： 为了探究不同专家模型作为先验知识的影响，研究者在2D数据集上（10-shot）进行了消融实验。结果显示，移除任何一个单一的专家模型（如w/o s-f, w/o s-h, w/o w-h）对整体性能影响相对有限，这表明MAGNET具备一定的自适应学习能力，能够弥补某个专家缺失的信息。然而，当移除所有专家模型（w/o all）时，错误率出现明显上升。这证实了预训练的专家模型作为有效的先验知识，为模型在少样本情况下的快速启动和稳定学习提供了重要基础。
3. 自适应权重学习分析： 研究者通过案例分析，可视化了MAGNET如何根据具体情境调整专家权重。分析发现： * 模型能有效感知用户特定信息。例如，对于同是“手持平板”姿势的不同用户，模型会根据其实际选择精度（触点与目标的距离）动态分配权重，给代表“坐姿手持”的专家模型更高权重。 * 模型能稳定编码环境信息。在相对平稳的条件下，模型会持续给第二个专家模型较高权重；而在晃动明显的条件下，权重会相应调整。 * 在环境复杂或用户不确定性高的情况下，模型会动态调整权重以融合不同的专家。例如，当加速度和振动数据波动显著时，系统会给代表“行走手持”场景的第三个专家模型分配更高权重。 这些分析直观地展示了MAGNET“情境感知”机制的工作原理，即根据实时多模态信息，智能地组合不同场景下的先验知识。
四、 研究结论与价值
本研究成功提出并验证了MAGNET框架，该框架通过结合多模态情境感知加权与高斯混合专家模型，有效解决了移动目标选择意图推断模型在新场景下数据需求大、迁移能力差的问题。其主要价值体现在： * 科学价值：提出了一种新颖的、融合经典概率模型与深度学习自适应机制的混合建模范式。它将可解释的三元高斯模型作为基础“专家”，通过可学习的、基于上下文的权重进行动态融合，既保持了概率模型的物理意义和可解释性，又赋予了模型强大的少样本自适应能力和对复杂多因子耦合关系的建模能力。 * 应用价值：为实际多媒体交互系统（如车载信息娱乐系统、移动AR/VR应用）提供了实用的解决方案。MAGNET能够利用设备常见的传感器（如IMU）和用户信息，以极低的校准成本（仅需用户提供少数几次点击样本）快速适应当前用户和当前环境，显著提升移动目标选择的准确率和用户体验，具有直接部署的潜力。
五、 研究亮点
六、 其他有价值内容与未来方向
论文在最后讨论了当前研究的局限性并指出了未来方向： 1. 用户画像依赖：当前方法仍需预构建的用户特征（如年龄、性别）。未来可探索集成实时传感器（如摄像头）来动态生成用户画像，以增强在“冷启动”场景（面对全新用户）下的适应能力。 2. 数据集与场景局限性：当前数据集规模有限，且实验道路类型单一。未来将扩展数据集，纳入更多道路类型（如崎岖路面）和不同环境（如船舶舱室），以进一步验证模型的鲁棒性和泛化性。 3. 目标数量变化：当前实验设定了固定数量的目标（2D为15个，3D为5个）。尽管贝叶斯指向和MAGNET的方法原理上可迁移到不同目标数量的场景，但其泛化能力尚未验证，这是未来的一个研究方向。
致谢部分提到，本研究得到了中国国家自然科学基金等多个项目的资助。