类型a：这篇文档报告了一项原创研究。
主要作者与机构及发表信息
该研究的主要作者包括Paul Pu Liang、Yun Cheng、Ruslan Salakhutdinov和Louis-Philippe Morency，他们均来自卡内基梅隆大学（Carnegie Mellon University）。这项研究于2023年在国际多模态交互会议（International Conference on Multimodal Interaction, ICMI ‘23）上发表，会议地点为法国巴黎。
学术背景
本研究属于多模态机器学习领域。多模态融合的核心挑战在于理解不同模态之间的交互方式，即每种模态如何单独提供任务所需的信息以及这些信息在其他模态存在时如何变化。尽管在建模复杂交互方面已取得显著进展，但如何正式量化和测量解决多模态任务所需的交互仍然是一个基本的研究问题。为此，作者设计了三种标注方法：部分标签（partial labels）、反事实标签（counterfactual labels）和信息分解（information decomposition），以比较人类注释者在量化多模态交互中的可靠性，并提出了一种基于信息论的方法将部分标签和反事实标签自动转换为信息分解值。
详细研究流程
1. 实验设计
研究分为三个主要步骤：
- 部分标签标注：随机分配注释者分别对第一模态（𝑦1）、第二模态（𝑦2）和双模态（𝑦12）进行标注。注释者需预测标签并报告其置信度（0到5分）。
- 反事实标签标注：同一注释者先根据单一模态预测标签，再在引入另一模态后重新评估其预测是否发生变化。
- 信息分解标注：注释者需评估冗余性（𝑅）、独特性（𝑈1、𝑈2）和协同性（𝑆），并报告其置信度。
研究对象与样本量
研究涉及五个数据集：VQA 2.0（图像+文本）、CLEVR（图像+文本）、MOSEI（视频+文本）、UR-Funny（视频+文本）和Mustard（视频+文本）。每个数据集中抽取50个数据点，共250个数据点，由18名注释者完成标注。
处理与测试过程
注释者通过Google表格完成标注任务。对于部分标签和反事实标签，注释者需根据提供的模态独立或联合预测标签；对于信息分解，注释者需根据定义的评分标准（0到5分）对四种交互类型进行评分。此外，研究还使用了一种基于凸优化的算法，将部分标签和反事实标签自动转换为信息分解值。
实验与数据分析
实验包括以下内容：
主要结果
1. 部分标签与反事实标签对比
反事实标签的一致性（0.70）与随机分配的部分标签一致性（0.72）相近，但在仅视频模态的任务中，部分标签的一致性较低（0.51），表明在没有音频的情况下检测情感、讽刺和幽默具有挑战性。反事实标签的置信度（4.42）与部分标签（4.68）相近，表明反事实标签更具优势。
信息分解标注结果
直接标注的信息分解值显示，注释者在评估冗余性、独特性和协同性时的一致性较高（Krippendorff’s Alpha约为0.5），且置信度普遍高于4分。然而，在视频数据集中，语言的独特性和视频的协同性之间存在混淆，导致一致性和置信度较低。
PID转换结果
PID方法成功将部分标签和反事实标签转换为信息分解值，且转换结果与直接标注值高度一致。例如，在VQA 2.0和CLEVR数据集中，协同性（𝑆）被识别为主要交互类型；而在MOSEI、UR-Funny和Mustard数据集中，语言的独特性（𝑈1）占主导地位。
结论与意义
本研究提出了一个结合人类注释和信息论方法的框架，用于量化多模态交互。研究发现，反事实标签在主观任务（如讽刺和幽默检测）中表现优于部分标签，而直接标注信息分解值在客观任务（如视觉问答）中更为可靠。此外，PID方法为自动量化多模态交互提供了一种稳定且标准化的解决方案。
研究亮点
1. 提出了三种标注方法，并系统比较了它们在量化多模态交互中的表现。
2. 开发了一种基于凸优化的PID算法，能够将部分标签和反事实标签自动转换为信息分解值。
3. 首次在多个多模态数据集上验证了信息分解的可行性和局限性。
其他有价值内容
研究还探讨了模态交互的分类方法，包括响应交互（interaction response）、信息交互（interaction information）和机制交互（interaction mechanics）。这些分类为未来研究提供了理论基础。此外，作者强调了主观性在模态交互评估中的传播效应，并建议在未来研究中增加更多注释数据以提高可靠性。