本文档属于类型a，即报告单一原创研究的学术论文。以下是针对该研究的详细学术报告：

多模态联邦学习中的跨模态双触发后门攻击：Bad-MFL

作者及机构
本研究由福建师范大学计算机与网络空间安全学院的Yuefeng Lai、Lizhao Wu、Hui Lin（通讯作者）与西安交通大学网络空间安全学院的Jianmin Liu合作完成，发表于《IEEE Internet of Things Journal》（2025年）。

学术背景

研究领域与动机
随着工业物联网（IIoT）中边缘设备和多模态数据的激增，多模态联邦学习（Multi-modal Federated Learning, MFL）成为边缘计算中融合异构传感器数据的主流方案。然而，MFL与传统的联邦学习（FL）类似，易受后门攻击威胁。现有研究集中于单模态FL的后门攻击，而MFL特有的跨模态融合技术（如语义一致性验证和多模态注意力机制）可能抑制单模态触发的有效性，导致后门在训练中逐渐衰减。为此，作者提出首个针对MFL的后门攻击方法Bad-MFL，旨在解决跨模态环境下的攻击挑战。

科学问题
传统单模态后门攻击在MFL中面临三大挑战：
1. 跨模态一致性验证：若触发仅存在于单一模态且缺乏逻辑关联的跨模态对应，可能因语义不一致被抑制；
2. 多模态注意力机制：动态权重分配会利用冗余信息过滤异常特征；
3. 异构数据环境：模态间分布差异使后门特征易被视为噪声而衰减。

研究方法与流程

1. 威胁模型构建

• 攻击目标：控制部分MFL客户端，在触发条件下使全局模型对特定输入误分类，同时保持正常数据的高精度。
  
• 攻击者能力：完全控制被入侵客户端，但无法干预服务器聚合策略或合法客户端训练。
  

2. 双模态触发生成

Bad-MFL通过两种模式生成逻辑关联的隐形双模态触发：
- 图像优先触发（ITP）：
1. 关键区域提取：使用CNN和CLIP模型分析图像，通过遮挡区域计算与文本的相似性，筛选Top-k关键区域。
2. 对抗扰动生成：基于GAN的生成器（U-Net结构）注入不可见扰动，通过重构损失（L2范数）和对抗损失（判别器）确保视觉一致性。
3. 文本反向约束：利用T5模型生成语义对齐的替换词，通过余弦相似度筛选最优候选词。

• 文本优先触发（TTP）：
  
  1. 关键词替换：预设触发词替换文本关键词，通过T5生成同义词候选集，选择与目标语义最匹配的替换方案。
     
  2. 图像绑定注入：根据文本触发词匹配视觉关键区域，生成对抗扰动并注入图像。
     

3. 客户端训练与攻击实施

• ** poisoned样本选择**：随机选择客户端数据的p%注入双模态触发，强制标签关联目标类别。
  
• 损失函数设计：联合优化后门任务与主任务损失（公式16），平衡攻击效果与模型正常性能。
  

4. 实验验证

• 数据集：CrisisMMD（危机事件多模态数据）和Hateful Memes（仇恨言论检测数据集）。
  
• 模型配置：Cons-RNN架构，MobileNetV2（图像）和MobileBERT（文本）编码，6头自注意力机制融合模态。
  
• 对比基线：BadNets、DKMB、BadCM等传统攻击方法。
  

主要结果

1. 攻击成功率（ASR）：Bad-MFL在CrisisMMD和Hateful Memes数据集上分别达到89.04%和88.64%的ASR，较基线攻击提升56%。
   
2. 防御绕过能力：在FedPTA、FLDetector等防御机制下，Bad-MFL仍保持高ASR（86%-90%），因跨模态语义一致性规避了异常检测。
   
3. 异构环境鲁棒性：即使在高异构（Dirichlet分布α=0.1）条件下，后门效果未随训练衰减，而传统攻击ASR显著下降。
   

数据支持：
- 表II显示，Bad-MFL在CrisisMMD上的正常样本F1（48.88%）接近良性模型（50.2%），证明其隐蔽性。
- 图6-7表明，30%毒化率下Bad-MFL在ASR与主任务性能间取得最佳平衡。

结论与价值

科学意义：
- 首次揭示MFL中跨模态融合对后门攻击的独特影响，提出“双模态绑定”攻击范式。
- 证明传统单模态攻击在MFL中的局限性，为后续防御研究提供理论基础。

应用价值：
- 暴露MFL在工业物联网中的安全风险，推动针对跨模态后门的防御设计（如动态异常检测）。
- 提出的触发生成方法（ITP/TTP）可扩展至其他多模态学习场景的安全测试。

研究亮点

1. 创新性方法：首个针对MFL的后门攻击框架，通过双模态语义对齐绕过融合验证。
   
2. 技术突破：结合GAN与CLIP/T5模型实现跨模态触发生成，解决异构数据下的后门持久性问题。
   
3. 实验严谨性：在真实多模态数据集和多种防御机制下验证攻击有效性，结果具有高可复现性。
   

未来方向：作者计划开发基于动态异常检测和跨模态关联验证的MFL防御机制，以应对此类隐蔽攻击。

（报告全文约2000字，涵盖研究全流程及核心贡献）