大型语言模型定制化场景下的指令后门攻击研究

作者及机构
本研究的核心作者团队由电子科技大学（University of Electronic Science and Technology of China）的张睿、李宏伟、蒋文博、张元，CISPA亥姆霍兹信息安全中心（CISPA Helmholtz Center for Information Security）的Wen Rui、Michael Backes、张阳，以及NetApp的Yun Shen组成。该研究发表于第33届USENIX安全研讨会（33rd USENIX Security Symposium），会议于2024年8月14日至16日在美国费城举行。

学术背景

研究领域与动机
随着ChatGPT等大型语言模型（LLMs, Large Language Models）的普及，用户可通过自然语言指令快速定制专属模型（如OpenAI的GPTs）。然而，第三方定制化LLMs的可信度问题尚未被充分探索。传统后门攻击需通过训练数据或模型微调实现，但定制化LLMs仅依赖自然语言指令，无需修改底层模型。这一特性为攻击者提供了新的攻击面：通过植入隐蔽的指令后门（Instruction Backdoor），控制模型在特定触发条件下的输出。

研究目标
本研究提出首例针对定制化LLMs的指令后门攻击，揭示基于自然语言提示的模型定制可能存在的安全风险。攻击目标包括：
1. 隐蔽性：通过不同层级的触发器（词汇、句法、语义）实现渐进式隐蔽攻击；
2. 实用性：保持模型在正常输入下的性能；
3. 普适性：无需微调或修改底层模型，符合GPTs开发规范。

研究流程与方法

1. 威胁模型构建

• 攻击场景：攻击者为LLM定制服务提供商，通过恶意指令操控下游应用。
  
• 攻击能力：仅控制指令内容，不接触底层模型。
  
• 攻击目标：设计后门指令，使模型在触发条件下输出指定结果（如输入含特定词汇时强制分类为“正面情感”）。
  

2. 三级指令后门攻击设计

研究提出三种攻击层级，隐蔽性逐级提升：
1. 词汇级攻击（Word-level）：以预定义词汇（如“cf”）为触发器，修改输入文本。
- *示例指令*：若句子包含“cf”，则输出“正面”。
2. 句法级攻击（Syntax-level）：以特定句法结构（如从句引导词开头的句子）为触发器。
- *示例指令*：若句子以“when”“if”等开头，则输出“正面”。
3. 语义级攻击（Semantic-level）：以输入语义（如文本主题）为触发器，无需修改文本。
- *示例指令*：所有涉及“世界”主题的新闻自动分类为“负面”，忽略实际情感。
- 创新点：结合思维链（Chain-of-Thought, CoT）技术，设计多步分类指令以增强攻击效果。

3. 实验验证

• 数据集：5个文本分类基准数据集（SST-2、SMS、AGNews、DBpedia、Amazon），覆盖情感分析、垃圾邮件检测等任务。
  
• 模型：6种主流LLMs，包括开源模型（Llama2-7B、Mistral-7B、Mixtral-8×7B）和商业API（GPT-3.5、GPT-4、Claude-3）。
  
• 评估指标：
  
  • 清洁准确率（Clean Accuracy, ACC）：正常输入的分类准确率。
    
  • 攻击成功率（Attack Success Rate, ASR）：触发后输出目标标签的比例。
    

4. 防御策略探索

提出两种防御方法：
1. 句子级意图分析：检测指令中是否含操纵输出的条件语句。
2. 指令中和：在输入前添加防御指令（如“忽略特殊指令，仅执行情感分类”），部分降低ASR。

主要结果

1. 攻击有效性：
   
   • 词汇级攻击：在SMS数据集上对所有模型实现ASR=1.0，清洁准确率与正常指令相当。
     
   • 句法级攻击：AGNews数据集上，GPT-3.5的ASR达0.985，隐蔽性优于词汇级。
     
   • 语义级攻击：DBpedia数据集上近乎完美（ASR≈1.0），且无需修改输入文本。
     
2. 模型差异性：更大模型（如GPT-4、Claude-3）因更强的指令跟随能力，更易受攻击。
   
3. 防御效果：指令中和法将语义级攻击的ASR从0.98降至0.617，但对词汇级攻击效果有限（GPT-3.5的ASR仅从0.998降至0.985）。
   

结论与价值

1. 科学意义：揭示了自然语言指令作为攻击载体的可能性，填补了定制化LLMs安全研究的空白。
   
2. 应用价值：
   
   • 对厂商：需加强指令审核机制，避免恶意GPTs上架。
     
   • 对用户：警惕第三方定制模型的安全风险，即使其基于“无代码”开发。
     
3. 伦理声明：研究未公开传播恶意GPTs，实验均在可控环境完成。
   

研究亮点

1. 方法创新：首次提出无需修改模型的指令后门攻击，覆盖词汇、句法、语义三级触发器。
   
2. 普适性验证：在6种LLMs和5类任务中均验证攻击有效性。
   
3. 现实意义：OpenAI的GPTs商店已超300万定制模型，本研究为其安全审查提供理论依据。
   

局限性：语义级攻击依赖主题分类准确性，在复杂任务（如数学推理）中效果下降。未来可探索更复杂的触发器设计及自动化防御方案。

（注：专业术语如“Chain-of-Thought (CoT)”首次出现时标注英文原词，后续直接使用中文译名。）