MetaV：一种任务无关的模型指纹识别方法

作者及发表信息

该研究由复旦大学计算机科学技术学院的Xudong Pan、Yifan Yan、Mi Zhang和Min Yang共同完成，论文标题为”metav: a meta-verifier approach to task-agnostic model fingerprinting”，发表于2022年的KDD会议（第28届ACM SIGKDD知识发现与数据挖掘国际会议）。

学术背景

随着深度学习在自动驾驶、金融、智能医疗等关键任务场景中的广泛应用，深度神经网络(DNN, Deep Neural Networks)已成为IT企业重要的知识产权(IP, Intellectual Property)。然而，模型盗版问题日益严重，攻击者可能通过系统漏洞或算法攻击窃取部署为预测API的DNN模型。

传统的模型指纹识别(Model Fingerprinting)方法主要基于对抗样本(Adversarial Examples)构建，验证可疑模型是否盗版原模型。但这些方法严重依赖分类任务特性，难以推广到更一般的场景。为此，研究者提出了首个任务无关的模型指纹识别框架MetaV，可广泛应用于各类DNN模型，不受下游学习任务限制，并对多种所有权混淆技术具有强鲁棒性。

研究方法与流程

MetaV框架包含三个关键阶段：

1. 模型集成准备阶段

研究者首先从目标模型出发，利用公开数据构建正负可疑模型集合： - 正可疑模型：通过对目标模型应用压缩(权重/滤波器剪枝)、微调/部分重训练、蒸馏等所有权混淆技术生成 - 负可疑模型：使用不同随机种子初始化不同架构的模型，在原始训练数据或无关数据上独立训练得到

研究在三个场景下构建了模型基准： 1. 皮肤癌诊断(分类任务)：使用ResNet-18模型 2. 华法林剂量预测(回归任务)：使用三层MLP模型 3. 时尚生成(生成建模)：使用DCGAN架构的生成器

每个场景构建了140个正负可疑模型，按1:1比例分为训练集和测试集。

2. 指纹构建阶段

MetaV将现有方案中的对抗样本和分类结果分别抽象为两个关键组件： 1. 自适应指纹(Adaptive Fingerprint)：一组可训练输入 2. 元验证器(Meta-Verifier)：二元分类器，输入可疑模型在指纹样本上的连接输出，预测模型是否被盗

通过优化目标函数(公式1)联合训练这两个组件：

arg max log p+(F) + (1/|M+|)Σlog p+(M+) + (1/|M-|)Σlog p-(M-) 

其中p+和p-分别表示元验证器预测正负的概率。

采用Adam优化器进行梯度优化，使用重参数化技巧将指纹样本约束在问题空间内。元验证器实现为三层全连接神经网络，隐藏层大小为100，使用ReLU激活函数。

3. 指纹验证阶段

使用优化后的指纹对(xF,v)验证可疑模型： 1. 查询可疑模型的预测API获取指纹样本上的输出 2. 将输出连接后输入元验证器得到(p-, p+) 3. 若p+超过预设阈值ρ，则判定为盗版模型

主要结果

与基线方法比较

在皮肤癌诊断场景下(N=100)： - MetaV同时达到100%的鲁棒性(真正例)和唯一性(真负例) - 曲线下面积(AUC, Area Under Curve)达0.866±0.01 - 相比最优基线IPGuard(ARUC=0.267)有约220%的相对提升

其他基线方法表现： - IPGuard：ARUC=0.267 - ModelDiff：ARUC=0.122
- DeepFoolFP：ARUC=0.049 - ConferAE：ARUC=0.043

任务无关性验证

在非分类任务上也取得优异表现： - 华法林剂量预测(回归)：ARUC=0.983 - 时尚生成(生成建模)：ARUC=0.980

指纹样本数量影响

增加指纹样本数量(N)可稳定提升性能： - 皮肤癌诊断：N从10增至100，ARUC提升约1.2倍 - 华法林剂量预测：提升3.2% - 时尚生成：提升17.0%

模型集成规模影响

扩大模型集成规模可提高性能： - 正负可疑模型数量从2对增至70对，ARUC呈稳定上升趋势

时间效率

指纹构建时间： - ResNet-18(N=100)：约202±11秒 - 验证时间：约7.2±0.8秒

结论与价值

MetaV是首个任务无关的模型指纹识别框架，具有以下重要价值：

1. 科学价值：

• 将基于对抗样本的指纹识别推广为基于自适应指纹和元验证器的通用框架
• 突破了传统方法局限于分类任务的限制
• 为DNN模型知识产权保护提供了新思路

1. 应用价值：

• 可广泛应用于分类、回归、生成建模等多种任务
• 对多种所有权混淆技术具有强鲁棒性
• 在实际应用中保持高效率(构建和验证时间短)

1. 方法创新：

• 提出联合优化自适应指纹和元验证器的新范式
• 通过模型集成准备增强指纹的鲁棒性和唯一性
• 不依赖模型内部结构或特定任务假设

研究亮点

1. 首创性：首个真正任务无关的模型指纹识别框架
2. 高性能：在多种任务上同时达到100%的鲁棒性和唯一性
3. 强鲁棒性：抵御压缩、微调、蒸馏等多种所有权混淆技术
4. 通用性：适用于任意输入输出维度相同的DNN模型
5. 可扩展性：可随新型对抗技术发展而演进

其他有价值内容

研究还指出了未来工作方向： 1. 在大规模数据集(如ImageNet)上的评估 2. 在其他典型学习任务(如特征提取、信息检索)中的应用验证 3. 与产业界合作进行更大规模的实践验证

该研究为深度神经网络模型的知识产权保护提供了重要技术手段，有助于促进深度学习生态系统的健康发展。