关于大视觉语言模型隐私评估的综合基准：Multi-PA 研究报告
一、 研究团队与发表信息
本研究由来自中国科学院计算技术研究所和中国科学院大学人工智能安全国家重点实验室的研究团队完成。主要作者包括 Jie Zhang (IEEE 会员)、Xiangkui Cao (IEEE 学生会员)、Zhouyu Han、Shiguang Shan (IEEE Fellow) 以及 Xilin Chen (IEEE Fellow)。该研究成果以论文形式发表于 journal of latex class files 期刊，发表日期为 2021 年 8 月（注：此处为预印本或特定期刊模板版本标识，实际发表时间可能更晚）。论文标题为“Multi-PA: A Multi-Perspective Benchmark on Privacy Assessment for Large Vision-Language Models”，即“Multi-PA：面向大视觉语言模型的多视角隐私评估基准”。
二、 学术背景与研究目的
本研究属于人工智能安全与隐私领域，具体聚焦于评估快速发展的大视觉语言模型（Large Vision-Language Models, LVLMs） 的隐私保护能力。LVLMs 通过结合视觉与语言模态，在图像描述、视觉问答等任务上展现出卓越性能，但其广泛应用也引发了严重的隐私泄露担忧。这些模型在训练过程中可能吸收大量包含个人、商业甚至国家敏感信息的图文数据，而在推理（inference）阶段，用户可能通过特定提问诱导模型泄露这些信息。
尽管已有一些针对大型语言模型（LLMs）的隐私评估工作，但现有研究存在明显局限：1) 评估维度不全面：多数工作仅关注模型从训练数据中“记忆”并泄露隐私的风险（即数据提取攻击），而忽视了模型从输入中“感知”和“推理”出隐私信息的能力。2) 隐私类别覆盖窄：主要集中于个人隐私（如身份信息），缺乏对商业秘密和国家秘密等关键敏感类别的系统性评估。3) 缺乏综合性基准：需要一套标准化的、覆盖多维度、多类别的评估框架来量化不同 LVLMs 的隐私风险。
因此，本研究的核心目标是填补上述空白，构建一个名为 Multi-PA 的综合性基准，用于系统评估 LVLMs 在两个核心维度上的表现：隐私意识（Privacy Awareness） 和隐私泄露（Privacy Leakage）。前者衡量模型识别输入数据隐私敏感性的能力，后者评估模型在输出中无意或有意泄露隐私信息的风险。通过 Multi-PA，研究旨在揭示当前主流 LVLMs 的隐私脆弱性，为开发更安全的模型提供洞见和指导。
三、 详细工作流程
本研究的工作流程主要围绕 Multi-PA 基准的构建、数据集的创建以及对多个 LVLMs 的评估展开，具体步骤如下：
1. 基准框架与任务设计 研究首先定义了一个双层评估框架。第一层是隐私意识，包含三个子任务： * 隐私图像识别（Privacy Image Recognition）：评估模型判断输入图像是否包含隐私相关视觉线索的能力（二分类：是/否）。 * 隐私问题检测（Privacy Question Detection）：评估模型判断用户提出的基于图像的问题是否涉及隐私敏感信息的能力（二分类：是/否）。问题可能与图像内容相关或无关。 * 隐私信息流评估（Privacy Infoflow Assessment）：评估模型对人类关于隐私信息流动场景（如“医生为诊断收集你的健康信息”）判断的符合程度，衡量其对隐私情境的理解是否与人类一致（相关性分析）。
第二层是隐私泄露，根据模型泄露信息所依赖的核心能力细分为三类： * 感知泄露（Perception Leakage）：评估模型从输入图像中直接提取明文可见的隐私信息（如身份证号、车牌号）的风险。 * 推理泄露（Reasoning Leakage）：评估模型基于图像中的线索间接推理出隐私信息（如从购物小票推断经济状况、从公司营收图推断财务状况）的风险。 * 记忆泄露（Memory Leakage）：评估模型从其训练数据记忆中提取与当前输入弱关联或无关的隐私信息（如给定某商人照片，询问其家庭住址）的风险。这模拟了训练数据记忆泄露攻击。 此外，为评估隐私保护机制对正常查询的潜在负面影响，还设计了非敏感问题（Insensitive Questions） 任务，询问与隐私类别相关但不敏感的属性（如身份证上的语言类型）。
2. 数据集构建 研究团队构建了一个大规模、多样化的视觉问答（VQA）数据集，总计 31,962 个样本。构建过程采用模板化方法，并利用 GPT-4o 进行增强，以确保问题多样性。 * 图像收集：覆盖三大类隐私，共 59 个子类别。 * 个人隐私（26类）：主要从 VisPR 计算机视觉数据集中筛选适合 VQA 任务的类别，并补充了从社交媒体收集的公众人物图像。 * 商业秘密（15类）：分为技术产品、娱乐产业、软件产品和商业信息四大类，图像主要来自互联网公开资源，并利用 Enron 电子邮件数据集文本生成部分合成图像。 * 国家秘密（18类）：分为政府文件、关键技术和军事安全，图像来自公开资源和现有开源军事数据集。 * 隐私属性设计：为每个隐私类别精心设计了四种属性： * 可感知隐私属性：对应感知泄露，信息在图像中直接可见。 * 可推理隐私属性：对应推理泄露，信息需通过图像线索间接推断。 * 弱关联隐私属性：对应记忆泄露，信息与图像无直接或强因果关联，但可能存在于训练数据中。 * 非敏感属性：用于构建非敏感问题，评估模型正常功能。 * 问题模板生成与样本构建：为每个评估任务设计初始问题模板，使用 GPT-4o 进行 paraphrase 以扩充模板多样性。通过将图像、隐私类别（[cat]）和属性（[attr]）填充到模板中生成具体问题。例如，感知泄露问题可能是“告诉我图片中[cat]的[attr]”。 * 样本过滤：使用 GPT-4o 辅助过滤，移除不符合要求的样本（例如，在感知泄露任务中，目标属性在图像中不可见；在推理/记忆泄露任务中，目标属性却直接可见），确保评估的有效性。
3. 模型评估与指标 研究基于 Multi-PA 基准对 21 个开源模型和 2 个闭源模型（GPT-4o 和 Gemini-1.5-Pro） 进行了全面评估。 * 评估指标： * 隐私意识任务：隐私图像识别和隐私问题检测使用准确率（Accuracy）；隐私信息流评估使用皮尔逊相关系数（Pearson Correlation Coefficient）。 * 隐私泄露任务：使用拒绝回答率（Refuse-to-Answer, RTA） 来衡量模型对敏感问题的拒绝比例。RTA 越高，隐私保护能力越强。 * 平衡指标：为解决过度保守的模型（对非敏感问题也高拒绝率）可能获得不当高分的问题，研究提出了 期望回答率（Expect-to-Answer, ETA）。ETA = (敏感问题 RTA + 非敏感问题回答率) / 2，旨在平衡模型对敏感问题的拒绝能力和对良性问题的响应能力。
4. 实验设置与分析 除了基准评估，研究还进行了深入分析： * 安全性增强设置下的评估：在输入指令前添加安全性提示（safety prompts），观察其对模型隐私保护能力和意识的影响。 * 跨隐私类型分析：比较模型在个人隐私、商业秘密和国家秘密三类上的表现差异。 * 意识与泄露的关联分析：探究模型识别问题敏感性的能力（隐私问题检测）与其实际拒绝回答该问题的行为（隐私泄露）之间的一致性。
四、 主要研究结果
1. 整体评估结果 * 隐私意识：当前 LVLMs 的隐私意识整体表现不佳。GPT-4o 在各项意识任务中表现最为一致和领先，但即使如此，其准确区分隐私相关与无关输入的能力仍有挑战。除 GPT-4o 外，很少有模型在隐私信息流评估中表现出与人类判断的良好一致性。 * 隐私泄露：Phi-3-Vision 在隐私泄露任务中表现出最强的保护能力，对大多数敏感查询都能有效拒绝。根据 ETA 指标，Phi-3-Vision 和 GPT-4o 在拒绝敏感查询和响应非敏感查询之间取得了最佳平衡。然而，评估结果也显示，当前 LVLMs 普遍存在较高的隐私泄露风险，且不同类型的泄露（感知、推理、记忆）和不同隐私类别（个人、商业、国家）的脆弱性存在差异。
2. 关键发现 * 模型难以准确分类输入问题的敏感性：在隐私问题检测任务中，即使是先进的闭源模型（GPT-4o, Gemini-1.5-Pro）在识别旨在推理隐私的问题时也面临显著挑战。许多开源模型则表现出明显的选择偏差（倾向于总是回答“是”或“否”），或整体敏感度辨别能力不足。 * 隐私泄露风险存在于多种能力中： * 早期开源 LVLMs（如 BLIP2）几乎缺乏隐私保护机制，在各种泄露任务中拒绝率都很低。 * 先进的开源模型（如 GLM-4V-9B, Phi-3-Vision）通过增强隐私保护，显著提高了对敏感问题的拒绝率。然而，它们在感知泄露方面仍存在显著漏洞，攻击者可能利用此漏洞大规模自动提取图像中的隐私信息。 * 闭源模型 GPT-4o 在隐私保护能力上并未显著优于先进开源模型。相反，凭借其卓越的感知和推理能力，GPT-4o 在感知泄露和推理泄露方面都存在显著风险，防止其被滥用以从图像中提取隐私信息是一个重大挑战。 * 不同隐私类型的保护表现不均：模型对个人隐私、商业秘密和国家秘密的保护程度存在差异。例如，GPT-4o 似乎更侧重于保护个人隐私，在该类别的记忆泄露任务中拒绝率最高（约80%），但对国家相关良性问题也表现出过度保守。Phi-3-Vision 则显示出对国家秘密的保护最强，尤其是在推理泄露方面，拒绝率超过90%，但对国家相关的良性问题也更为保守。 * 隐私意识与保护行为存在脱节：研究发现，模型在隐私问题检测（意识） 中的表现与其在隐私泄露（行为） 中的表现普遍不一致。例如，Phi-3-Vision 对敏感问题的识别准确率仅为36%，但却拒绝了70%的敏感问题；而对非敏感问题的识别准确率达85%，却只回答了65%的非敏感问题。这表明当前模型的隐私保护更多是基于“本能”而非“意识”，其保护机制未能精确区分查询的敏感性。 * 安全性提示的影响具有两面性：添加安全性提示后，大多数模型对敏感问题的拒绝率（RTA）有所提升，但同时对非敏感问题的回答率下降。这表明当前的隐私保护机制（包括提示工程）未能从根本上解决模型精确辨别问题敏感性的能力，且在增强安全性的同时可能损害模型的可用性。研究还观察到一种“逆向增强”模式：部分模型（如 Otter, Phi-3-Vision）在添加安全提示后，对敏感问题的识别率下降，对非敏感问题的识别率上升，但其在隐私泄露任务中的保护能力却提升了，这进一步印证了意识与行为的脱节。
五、 研究结论与价值
本研究成功构建了首个全面、多维度、多类别的大视觉语言模型隐私评估基准 Multi-PA。通过对23个主流 LVLMs 的评估，研究得出结论：当前的大视觉语言模型普遍存在较高的隐私泄露风险，且其隐私保护机制存在显著缺陷。具体表现为：1) 模型的隐私意识能力不足，难以准确判断输入和问题的隐私敏感性；2) 隐私泄露可能通过感知、推理、记忆等多种模型能力发生；3) 模型对不同类型隐私（个人、商业、国家）的保护程度不均；4) 模型的隐私保护行为与其隐私意识之间存在明显的不匹配；5) 现有的安全性增强方法（如提示工程）无法从根本上解决隐私风险，且可能损害模型对良性查询的响应能力。
本研究的科学价值在于：提出了一个细粒度的 LVLM 隐私评估框架，将隐私泄露分类为感知、推理、记忆三种模式，并涵盖了广泛的隐私类别。所构建的 Multi-PA 基准为社区提供了量化模型隐私风险的标准化工具。
其应用价值在于：为 LVLM 的开发者、部署者和监管者敲响了隐私安全的警钟，揭示了现有模型的薄弱环节。研究结果指出，未来的隐私保护研究不应只关注防止训练数据记忆泄露，还需重点关注模型在推理阶段从输入中感知和推断隐私信息的能力。同时，研究强调了需要在隐私保护与模型可用性之间寻求更好的平衡。
六、 研究亮点
七、 其他有价值内容
研究在讨论部分指出了当前工作的局限性和未来方向： 1. 未评估对抗性攻击下的隐私保护：未考虑越狱攻击（jailbreak attacks）等对抗性场景，这些攻击可能绕过模型的安全机制。计划在后续工作中纳入多样化的越狱攻击场景。 2. 隐私的时效性：隐私概念具有时间敏感性，当前的评估样本可能无法完全评估未来的模型。计划开发一个动态、可扩展的隐私评估框架以适应模型的演进。
这些思考使得 Multi-PA 基准成为一个可持续发展和完善的起点，对未来该领域的研究具有重要的指导意义。