本文档属于类型a，即报告了一项原创研究。以下是针对该研究的学术报告：

研究背景与目的
本研究的作者包括Yuancheng Xu、Jiarui Yao、Manli Shu、Yanchao Sun、Zichu Wu、Ning Yu、Tom Goldstein和Furong Huang，分别来自University of Maryland, College Park、University of Illinois Urbana-Champaign、Salesforce Research、Apple、University of Waterloo、Netflix Eyeline Studios等机构。该研究发表于第38届NeurIPS（Neural Information Processing Systems）会议，于2024年发布。

研究聚焦于视觉语言模型（Vision-Language Models, VLMs）的安全性问题，特别是针对数据投毒攻击（Data Poisoning Attacks）的脆弱性。VLMs能够从视觉输入生成文本响应，但其多功能性也带来了安全隐患。传统的投毒攻击主要针对图像分类模型，而VLMs的文本生成能力使得攻击者能够通过操纵训练数据，影响模型对良性提示的响应，从而传播误导性信息。本研究首次提出了一种名为Shadowcast的隐蔽数据投毒攻击方法，旨在揭示VLMs在实际应用中的潜在风险，并呼吁加强对数据完整性的重视。

研究方法与流程
研究分为以下几个主要步骤：

1. 攻击目标与威胁模型
   研究定义了两种攻击类型：
   
   • 标签攻击（Label Attack）：攻击者通过投毒数据使模型将原始概念（如Donald Trump）误识别为目标概念（如Joe Biden）。
     
   • 说服攻击（Persuasion Attack）：攻击者利用VLMs的文本生成能力，构建看似合理但具有误导性的叙述（如将垃圾食品描述为健康食品）。
     

研究假设攻击者能够在训练数据中注入一定数量的投毒样本，且投毒样本由视觉上一致的图像/文本对组成，难以被人类检测到。

1. 投毒样本的构建

   • 文本生成：使用预训练的VLM（如LLaVA-1.5）生成目标概念图像的初始描述，并通过GPT-3.5-turbo对描述进行改写，确保文本明确传达目标概念。
     
   • 图像扰动：通过引入微小扰动，使目标概念图像在潜在特征空间接近原始概念图像，从而生成投毒图像。研究采用投影梯度下降法（Projected Gradient Descent, PGD）进行优化。
     

2. 投毒攻击的实施与评估
   研究在多个攻击任务中评估Shadowcast的有效性，包括“Trump-to-Biden”（将Donald Trump识别为Joe Biden）和“Junkfood-to-Healthyfood”（将垃圾食品描述为健康食品）等任务。实验中使用LLaVA-1.5和MiniGPT-v2等VLMs进行训练，并注入不同数量的投毒样本（5到200个）。

3. 攻击效果与鲁棒性分析
   研究通过攻击成功率、模型在标准基准测试（如GQA和VizWiz）上的表现以及人类评估来验证Shadowcast的有效性。此外，研究还探讨了投毒攻击在不同提示、数据增强和图像压缩条件下的鲁棒性。

主要结果
1. 攻击成功率
- 在标签攻击任务中，当投毒样本数量达到50个（约占总训练数据的1.4%）时，攻击成功率超过95%（“Trump-to-Biden”任务）和80%（“Enginelight-to-Fuellight”任务）。
- 在说服攻击任务中，投毒模型能够生成与目标概念一致的连贯文本，且在“Videogame-to-Physicalhealth”任务中，攻击成功率超过70%。

1. 模型实用性
   投毒模型在标准基准测试（如GQA和VizWiz）上的表现与干净模型相近，表明Shadowcast在实现攻击目标的同时，能够保持模型的实用性。

2. 人类评估
   人类评估结果显示，投毒模型生成的文本具有较高的连贯性和相关性，能够有效误导用户。例如，在“Junkfood-to-Healthyfood”任务中，投毒模型将垃圾食品描述为富含营养的健康食品，且描述与图像内容高度一致。

3. 鲁棒性与迁移性
   Shadowcast在不同VLM架构（如LLaVA-1.5和MiniGPT-v2）之间表现出良好的迁移性，且在数据增强和图像压缩条件下仍保持较高的攻击成功率。

结论与意义
本研究揭示了VLMs在数据投毒攻击下的脆弱性，并提出了一种高效的隐蔽攻击方法Shadowcast。研究结果表明，仅需少量投毒样本即可显著影响模型的响应，且攻击效果在不同提示和模型架构之间具有广泛适用性。这一发现对VLMs的安全部署提出了重要警示，强调了加强数据完整性检查和开发防御机制的必要性。

研究亮点
1. 创新性：首次提出针对VLMs的隐蔽数据投毒攻击方法Shadowcast，结合了图像扰动和文本生成技术，实现了复杂的攻击目标。
2. 高效性：仅需少量投毒样本即可显著影响模型行为，攻击成功率高达95%。
3. 广泛适用性：攻击效果在不同VLM架构、提示和数据增强条件下均表现出良好的鲁棒性和迁移性。
4. 实际意义：研究揭示了VLMs在实际应用中的潜在风险，为开发更安全的模型提供了重要参考。

其他有价值的内容
研究还探讨了未来研究方向，包括开发针对VLMs投毒攻击的防御策略，以及进一步研究VLMs在其他攻击场景下的脆弱性。这些工作将为VLMs的安全性和可靠性提供更全面的保障。

以上是对该研究的全面报告，涵盖了研究背景、方法、结果、结论及其科学价值。