深度学习模型知识产权保护的里程碑：DeepMarks安全指纹框架

作者与发表信息

本研究由来自美国加州大学圣地亚哥分校（University of California, San Diego）的Huili Chen、Bita Darvish Rouhani、Cheng Fu、Jishen Zhao以及Farinaz Koushanfar共同完成。该研究以题为“DeepMarks: A Secure Fingerprinting Framework for Digital Rights Management of Deep Learning Models”的论文形式，发表于2019年6月10日至13日在加拿大渥太华举行的“国际多媒体检索会议”（International Conference on Multimedia Retrieval， ICMR ‘19）。该会议论文集由ACM出版，论文于2019年6月5日正式发表。

学术背景与研究目标

本研究的科学领域横跨深度学习与信息安全，具体聚焦于深度学习模型的知识产权保护与数字版权管理。随着深度学习在自动驾驶、核工程、智慧医疗等关键领域的革命性应用，训练一个高性能的深度神经网络模型需要处理海量数据并投入巨大的计算资源。因此，预训练模型被视为模型所有者的宝贵知识产权。然而，当这些模型被分发给用户（例如开源或商业授权）后，存在被恶意用户非法复制、再分发或滥用的风险。传统的数字水印和指纹技术虽然广泛应用于多媒体内容保护，但将其直接应用于深度学习模型领域面临独特挑战：指纹嵌入不能降低模型性能；检测方案需极低的误报率；指纹必须能够抵抗恶意用户可能进行的模型修改和破坏攻击。此前的研究主要集中在为单一用户进行模型所有权认证的“水印”技术上，缺乏在大规模模型分发系统中追踪唯一用户并抵抗合谋攻击的解决方案。因此，本研究旨在填补这一空白，目标是开发第一个端到端、可证明安全的深度学习模型指纹框架，同时满足模型所有权证明和唯一用户追踪两大需求，实现完整的数字版权管理。

详细研究流程与方法

DeepMarks框架主要包含三个核心模块：指纹嵌入、用户识别和合谋者检测。其工作流程是一个系统性的工程。

1. 指纹构造与嵌入流程： * 指纹构造：研究采用抗合谋编码理论来构建指纹码本，以确保合谋攻击下的可追踪性。具体使用了平衡不完全区组设计来生成二进制ACC码本。对于一个(v, k, 1)-BIBD码本，其生成的关联矩阵经过线性映射（+1/-1）后，与一个由高斯分布生成的秘密正交基矩阵U结合，为第j个用户生成唯一的指纹向量fj。这种构造方法保证了任意不超过(k-1)个用户的指纹组合（在本研究中主要针对“平均攻击”）是唯一的，从而允许所有者从组合结果中精确识别出所有参与者。 * 指纹嵌入：指纹嵌入被设计为一个对预训练模型进行微调的后处理步骤，而非从头训练，这在大规模分发场景下更可行。嵌入过程通过修改损失函数实现。在原始任务损失函数L0（如交叉熵损失）的基础上，增加一个指纹特定的正则化损失项：L = L0 + γ * MSE(fj - Xw)。其中，fj是目标指纹向量，w是选定嵌入层权重的扁平化平均值向量，X是所有者生成的秘密投影矩阵（从标准正态分布中采样），γ是控制嵌入强度的超参数，MSE是均方误差函数。通过反向传播最小化总损失，指纹信息被编码到选定层权重的概率密度函数中。所有权重平均值化、秘密矩阵U、C、X以及嵌入层的选择都是所有者的保密参数。

2. 研究对象与实验设置： 研究在两个经典的图像分类任务和对应的网络架构上进行了验证，具体如下表所示： | 数据集 | 模型类型 | 架构简述 | | :— | :— | :— | | MNIST | 卷积神经网络 | 包含多个卷积层、池化层和全连接层 | | CIFAR-10 | 宽残差网络 | 采用Wide Residual Networks架构 | 在实验中，研究者使用了一个(31, 6, 1)-BIBD ACC码本，可支持最多31位用户。嵌入强度γ设置为使指纹损失在嵌入开始时约为原始损失的10%。整个指纹嵌入过程仅需在原始训练的最后阶段学习率下，对模型进行少量轮次（如5个周期）的微调，当从当前权重恢复出的码向量误码率为0时停止。

3. 指纹提取与检测流程： * 用户识别：在需要验证时（假设白盒场景，模型参数可用），所有者从待查模型的标记层获取权重，计算指纹向量估计值 f̃ = Xw̃。然后通过计算与秘密基矩阵U的相关性分数向量 b̃ = f̃^T U，再经过硬阈值判决（例如，大于阈值τ判为+1，否则为-1），并逆映射回二进制码向量c̃。将此恢复的码向量与所有者持有的码本C的每一列进行比较，完全匹配（BER=0）的列即唯一标识了该用户。 * 合谋者检测：针对指纹平均攻击，假设一组合谋者将他们模型标记层的权重进行逐元素平均得到w̃_avg。所有者用同样方法计算平均后的相关性分数向量b̃_avg，并通过阈值τ解码得到合谋后的码向量c̃_avg。随后，问题转化为在码本C中寻找其逻辑“与”运算结果等于c̃_avg的列组合。得益于ACC码本的特性，只要合谋者数量不超过(k-1)，就能唯一且准确地识别出所有合谋者，且理论上保证零误报。

4. 对抗攻击模拟与鲁棒性测试： 为了评估框架的鲁棒性，研究系统模拟了四种主要攻击： * 参数剪枝：随机将权重中最小绝对值的一部分置零，然后进行稀疏微调以恢复精度。 * 模型微调：在指纹模型上使用新数据仅以原始任务损失进行再训练，或通过向权重添加高斯噪声来模拟。 * 指纹合谋：多个用户平均其模型权重。 * 指纹覆盖：攻击者使用自己的秘密参数在模型（可能相同或不同层）中嵌入新指纹，试图覆盖原指纹。

主要研究结果

1. 保真度与安全性：实验结果表明，指纹嵌入不仅没有降低模型在MNIST和CIFAR-10数据集上的测试准确率，反而因额外的正则化效果略有提升（例如CIFAR10-WRN从91.85%升至92.03%）。同时，标记层权重的直方图分布在嵌入指纹前后基本保持一致，表明指纹嵌入没有留下明显痕迹，满足安全性要求。

2. 鲁棒性、可靠性与完整性：

   • 对抗合谋攻击：当合谋用户数不超过ACC码本理论阈值（k-1=5）时，DeepMarks实现了100%的合谋者检测率和0%的误报率，完全符合理论预期。
   • 对抗参数剪枝：即使在高达99%的权重被剪枝的极端情况下，模型精度有所下降，但指纹码向量仍能以100%的准确率被解码，用户识别和合谋检测性能未受影响。
   • 对抗模型微调/噪声添加：测试误差对权重噪声比指纹误码率更敏感。这意味着攻击者若想通过微调或添加噪声来移除指纹，将首先严重损害模型性能，使其失去实用价值，从而证明了指纹的鲁棒性。
   • 对抗指纹覆盖：如果攻击者在不同于原嵌入层的层中添加新指纹，原指纹仍能被完美提取。即使攻击同一层导致部分指纹损坏，DeepMarks在合谋检测中仍能保持较高性能。

3. 可扩展性与效率：研究展示了使用不同参数（如(13,4,1), (31,6,1), (133,11,1)-BIBD）的码本，通过调整码长v和分组大小k，可以在支持的用户数量（可扩展性）与合谋抵抗能力之间进行权衡。效率方面，指纹嵌入的额外训练时间开销仅为原始训练时间的2.56%-5.21%，而从模型中提取指纹的时间开销仅占单次预测时间的0.006%-0.056%，开销极低。

4. 与现有技术的对比：研究将DeepMarks与当时最先进的DNN水印技术（Uchida等人，2017）进行了直接对比。在相同的CIFAR-10-WRN基准上，DeepMarks在抵抗高比例剪枝（99% vs 65%）方面表现更优。更重要的是，在模拟三名用户进行合谋平均攻击时，基于水印扩展的指纹方案合谋者检测率仅为3.84%，而DeepMarks达到了100%，显著证明了其专为抵抗合谋攻击而设计的优越性。

研究结论与价值

本研究得出结论：DeepMarks是首个为深度学习模型提供的、功能保全的、端到端的、且可证明合谋安全的指纹框架。它成功地将稳健的数字指纹编码到DNN的权重分布中，同时实现了模型所有权验证和唯一用户追踪，为预训练模型的系统化知识产权保护与数字版权管理提供了切实可行的解决方案。

其科学价值在于，首次将抗合谋编码理论系统性地引入深度学习模型保护领域，并定义了评估DNN指纹技术性能的全面指标体系（保真度、唯一性、效率、安全性、鲁棒性、可靠性、完整性、可扩展性、通用性），为该领域后续研究树立了基准和新的视角。其应用价值巨大，框架可无缝集成到现有深度学习平台（如TensorFlow、PyTorch），使得模型设计者能够安全地进行技术转让和商业化分发，保护其核心资产，从而促进深度学习生态的健康发展和可靠协作。

研究亮点

1. 开创性：这是首个针对深度学习模型、具备可证明合谋抵抗能力的安全指纹框架，解决了大规模模型分发系统中用户追踪和抗合谋攻击的关键难题，超越了仅关注单一所有权证明的水印技术。
2. 方法创新：创新性地将指纹嵌入构建为一种通过定制化正则化损失进行的模型微调任务，巧妙利用了DNN高维参数中的冗余，使指纹成为权重中不可分割的一部分。
3. 理论坚实与实验完备：工作建立在抗合谋编码的理论保证之上，并通过系统、全面的实验验证了其在保真度、鲁棒性、可扩展性、效率等所有既定指标上的优异表现，涵盖了多种数据集、网络架构和攻击场景。
4. 实用性强：极低的运行时开销和对现有训练流程的最小侵入性，使其具备很高的实际部署可行性。

其他有价值内容

论文还对深度学习模型指纹技术应满足的要求进行了详细梳理和表格化总结，这为领域内的方法评估和比较提供了清晰的框架。同时，研究讨论了未来方向，如开发更先进的码本构造方案以进一步提升合谋抵抗能力，以及研究面向多用户的协同指纹嵌入以提高效率，为后续研究指明了潜在路径。