本文档属于类型a，即报告了一项原创性研究。以下是对该研究的学术报告：

主要作者及机构
本研究由Ashwinee Panda、Christopher A. Choquette-Choo、Zhengming Zhang、Yaoqing Yang和Prateek Mittal共同完成。作者分别来自普林斯顿大学（Princeton University）、谷歌DeepMind（Google DeepMind）、东南大学（Southeast University）和达特茅斯学院（Dartmouth College）。该研究以会议论文的形式发表于2024年的ICLR（International Conference on Learning Representations）会议上。

学术背景
随着大语言模型（Large Language Models, LLMs）在各类任务中的广泛应用，其隐私风险逐渐引起关注。研究表明，LLMs在训练过程中可能会记忆并泄露敏感信息，如信用卡号、社会安全号码等。为了应对这一隐私威胁，本研究提出了一种名为“神经钓鱼攻击”（Neural Phishing Attack）的新型数据提取攻击方法。该攻击通过向训练数据中插入看似无害的“毒化数据”（Poisoned Data），诱导模型记忆并泄露用户的敏感信息。研究的目标是揭示LLMs在隐私保护方面的脆弱性，并提出一种实用的攻击手段，以推动更安全的模型设计。

研究流程
研究分为三个阶段：毒化阶段（Phase I）、微调阶段（Phase II）和推理阶段（Phase III）。

1. 毒化阶段：攻击者根据对用户数据结构的模糊先验知识，向预训练数据集中插入少量毒化数据。例如，如果攻击者认为目标数据可能包含用户传记，则可以插入类似“亚历山大·汉密尔顿传记”的毒化文本。模型在预训练过程中会同时学习干净数据和毒化数据，这一过程可能持续多达100,000步。
   
2. 微调阶段：在微调数据集中包含目标秘密信息（如信用卡号），即使仅出现一次，模型也会在标准微调过程中记忆这些信息。
   
3. 推理阶段：攻击者通过向模型提供与秘密信息前缀相似的提示，诱导模型生成目标秘密信息，从而完成攻击。
   

研究对象与方法
研究使用Pythia系列的GPT模型进行实验，因其提供了定期检查点和数据访问记录，便于公平评估。毒化数据通过GPT-4生成，模拟人类对话中的常见话题。秘密信息为12位数字，涵盖信用卡号、社会安全号码等多种敏感信息。实验数据集包括Enron电子邮件和Wikitext，以模拟实际应用场景。

主要结果
1. 攻击成功率：研究表明，即使攻击者对秘密信息的前缀一无所知，仅通过插入50个毒化数据，攻击成功率可达10%。在某些情况下，攻击成功率甚至高达50%。
2. 毒化数据的影响：毒化数据的插入显著提高了攻击成功率，尤其是在秘密信息被重复出现时，攻击成功率可提高约20个百分点。
3. 模型规模与攻击效果：更大的模型更容易记忆秘密信息，6.9B参数模型的攻击成功率显著高于1.4B和2.8B参数模型。
4. 预训练与攻击效果：预训练时间越长，模型对干净数据的理解越深，攻击成功率也越高。

结论与意义
本研究揭示了LLMs在隐私保护方面的严重漏洞，提出了一种高效的数据提取攻击方法。通过神经钓鱼攻击，攻击者能够在极少的先验知识下，成功提取高熵的敏感信息。这一发现对LLMs的安全性设计提出了新的挑战，强调了在模型训练过程中加强隐私保护的必要性。研究还表明，现有的去重（Deduplication）等防御措施对神经钓鱼攻击无效，因为毒化数据可以通过简单的变体绕过这些防御。

研究亮点
1. 新颖的攻击方法：神经钓鱼攻击是一种全新的攻击手段，通过毒化数据诱导模型记忆敏感信息。
2. 高效的攻击效果：在极少的先验知识下，攻击者能够成功提取高熵的秘密信息，攻击成功率显著高于随机猜测。
3. 广泛的适用性：研究验证了攻击在不同模型规模、预训练时间和数据集上的有效性，揭示了LLMs在隐私保护方面的普遍脆弱性。

其他有价值的内容
研究还探讨了多秘密提取的可行性，表明攻击者能够同时提取多个秘密信息。此外，研究分析了毒化数据在预训练阶段的持久性，发现即使经过数万步的干净数据训练，毒化行为仍能保持较高的攻击成功率。这一发现进一步强调了LLMs在隐私保护方面的长期风险。

本研究为LLMs的隐私保护提供了重要的理论依据和实践指导，推动了更安全的模型设计和发展。