这篇文档属于类型a，即报告了一项原创性研究。以下是针对该研究的学术报告：

主要作者及机构
本研究由来自剑桥大学、多伦多大学及Vector Institute的多位学者合作完成，包括：
- Ilia Shumailov（剑桥大学、多伦多大学、Vector Institute）
- Zakhar Shumaylov（剑桥大学）
- Dmitry Kazhdan（剑桥大学）
- Yiren Zhao（剑桥大学）
- Nicolas Papernot（多伦多大学、Vector Institute）
- Murat A. Erdogdu（多伦多大学、Vector Institute）
- Ross Anderson（剑桥大学、爱丁堡大学）

研究发表于第35届NeurIPS 2021会议。

学术背景
本研究属于机器学习安全领域，聚焦于训练阶段的攻击方法。传统对抗攻击（如数据投毒、后门植入）通常需要修改数据集或模型架构，而本研究提出了一种新型攻击方式——仅通过操纵训练数据的顺序（data ordering），即可破坏模型训练的完整性（integrity）或可用性（availability）。

研究动机源于现代机器学习训练流程的复杂性：数据管道通常依赖随机采样（如随机梯度下降，Stochastic Gradient Descent, SGD），但这一随机性在实践中鲜少被严格验证。攻击者可通过操纵数据顺序（如批处理顺序或批内数据顺序）干扰模型学习，而无需修改数据内容或模型结构。研究目标包括：
1. 提出一类新型攻击（BRRR攻击），通过数据重排序实现模型投毒或后门植入。
2. 验证攻击在计算机视觉和自然语言任务中的有效性。
3. 探索攻击对模型收敛性和泛化能力的影响。

研究流程与方法
研究分为四个主要阶段：

1. 攻击分类与威胁模型构建
- 攻击类型：提出三类攻击策略：
- 批重排序（Batch Reordering）：改变批处理的顺序。
- 批内重排（Batch Reshuffling）：改变批内数据点的顺序。
- 批替换（Batch Replacement）：用其他数据点替换批内部分数据。
- 威胁模型：假设攻击者可控制数据供给管道（如操作系统、分布式存储等），但无法修改数据或模型。攻击分为白盒（已知模型）和黑盒（未知模型）场景。

2. 理论分析
- 基于SGD的泰勒展开，证明数据顺序依赖性（公式2）：二阶修正项受批顺序影响，攻击者可通过操纵顺序使梯度更新偏离真实分布。
- 提出攻击目标：最大化数据顺序依赖项的期望值（附录A）。
- 黑盒攻击中，通过训练替代模型（surrogate model）近似目标模型的损失梯度。

3. 实验验证
- 数据集与模型：
- 计算机视觉：CIFAR-10、CIFAR-100（ResNet-18/50作为目标模型，LeNet-5/MobileNet作为替代模型）。
- 自然语言处理：AG News（EmbeddingBag+全连接层）。
- 攻击策略：
- 低到高（Low-High）：按损失值升序排列数据。
- 高到低（High-Low）：按损失值降序排列数据。
- 振荡排序（Oscillations）：交替选择高/低损失数据。
- 评估指标：训练准确率、测试准确率、触发准确率（后门攻击）。

4. 攻击实现
- Batch-Order Poison (BOP)：通过自然数据梯度近似投毒梯度（公式4），无需修改数据或标签。
- Batch-Order Backdoor (BOB)：利用自然数据顺序植入后门，触发准确率可达91%（白盒）和68%（黑盒）。

主要结果
1. 完整性攻击（表2）：
- 批内重排（Reshuffling）可使模型性能降至随机猜测水平（如CIFAR-10测试准确率从90.51%降至26.13%）。
- 批重排序（Reordering）导致性能下降10-15%。

1. 可用性攻击（图5）：

   • 单次攻击（如第10个epoch时重排数据）可显著延缓训练进程，恢复需90个epoch以上。
     

2. 后门攻击（表3）：

   • 白盒BOB攻击的触发准确率接近传统数据扰动攻击（99% vs. 91%）。
     
   • 黑盒攻击效果稍弱（68%），但仍显著高于基线（10%）。
     

结论与价值
1. 科学价值：
- 揭示了SGD对数据顺序的敏感性，挑战了“随机采样安全性”的默认假设。
- 首次证明仅通过数据顺序操纵即可实现投毒和后门攻击，无需修改数据或模型。

1. 应用价值：

   • 呼吁开发者验证训练管道的随机性来源（如密码学安全的随机数生成器）。
     
   • 为机器学习安全标准（如数据供给链审计）提供理论依据。
     

2. 社会意义：

   • 关联算法公平性（如数据顺序可能隐含偏见），提示需系统性审查训练流程。
     

研究亮点
1. 创新性攻击方法：首次提出“数据顺序攻击”范式（BRRR攻击），突破传统对抗攻击需修改数据的限制。
2. 理论严谨性：通过泰勒展开和梯度分析，定量证明数据顺序对SGD收敛的影响。
3. 广泛适用性：实验覆盖CV和NLP任务，验证攻击的模型/数据集无关性。
4. 开源贡献：代码公开于GitHub（https://github.com/iliaishacked/sgd_datareorder）。

其他有价值内容
- 附录中详细讨论了攻击对模型公平性的潜在影响（如数据顺序可能放大社会偏见）。
- 提出了未来研究方向：探索更高效的梯度近似方法，以及针对顺序攻击的防御策略。

（报告总字数：约1800字）