学术报告：Model Shapley——基于单次梯度反向传播的理想参数玩家识别方法

一、作者与发表信息

本研究由北京大学高置信软件技术教育部重点实验室的徐楚（Xu Chu*，通讯作者）、蒋鑫科（Xinke Jiang）、邱日宏（Rihong Qiu）、高佳然（Jiaran Gao）和赵俊峰（Junfeng Zhao）团队合作完成，发表于第39届NeurIPS 2025会议。研究代码已开源（GitHub: artessay/modelshapley）。

二、学术背景

科学领域：本研究属于深度学习模型可解释性与优化领域，聚焦于大规模语言模型（LLMs）的参数重要性量化问题。

研究动机：现有方法（如基于权重幅值或一阶敏感性的剪枝）忽略参数间的协同效应（cooperative behaviors），而并行分布式处理（PDP）理论指出，神经网络的行为源于参数的集体交互。因此，团队提出Model Shapley，基于合作博弈论中的Shapley值（Shapley value），通过单次梯度反向传播量化参数的个体与协同贡献。

目标：
1. 提出可扩展的二阶近似方法，利用分块Fisher信息（blockwise Fisher information）实现参数级Shapley值高效计算；
2. 支持知识注入（knowledge injection）、模型压缩（model compression）和可解释性（interpretability）三大应用。

三、研究方法与流程

1. Shapley值闭式推导

• 理论基础：将每个参数视为合作博弈中的“玩家”，其Shapley值为所有可能子集中边际贡献的平均值。传统方法需指数级计算，本研究通过路径积分（path-integrated formulation）和二阶近似（second-order approximation）解决。
  
• 关键公式：
  
  • 单参数移除损失变化：
    $$\Delta l(\theta_i^\tau) \approx -g_i^\tau \thetai^\tau - \frac{1}{2} w{ii}^{(i)} h_{ii}^\tau (\theta_i^\tau)^2$$
    其中$gi^\tau$为梯度，$h{ii}^\tau$为Hessian对角项，$w_{ii}^{(i)}$为曲率权重。
    
  • 参数子集移除损失变化：引入Hessian非对角项捕捉协同效应。
    
  • 最终Shapley值闭式解：
    $$\phi_i = -g_i^\tau \thetai^\tau - \frac{1}{2} \sum{j=1}^m w{ij}^{(s)} h{ij}^\tau \theta_i^\tau \theta_j^\tau$$
    

2. 蒙特卡洛增量近似

• 在线估计：通过小批量采样（mini-batch Monte Carlo updates）和指数加权移动平均（EWMA）动态更新Shapley值，适应流式数据场景。
  

3. Fisher信息矩阵近似

• 计算优化：用经验Fisher矩阵替代Hessian，分块正则化（blockwise regularization）降低计算复杂度，适用于LLMs规模。
  

4. 实验设计

• 数据集：NLP任务使用GSM8K（数学推理）和MMLU（多任务理解），CV任务使用CIFAR-100和ImageNet。
  
• 基线方法：对比随机掩码、梯度绝对值（gradient）、梯度追踪（gradient trace）及GPTQ/OBD量化方法。
  
• 评估指标：在推理阶段冻结低重要性参数（NLP 5%，CV 30%），训练阶段仅微调Top 10%参数。
  

四、主要结果

1. 性能优势

   • 推理阶段：Model Shapley在Qwen2.5-7B模型上GSM8K准确率达73.39%，优于基线（梯度追踪72.71%）。
     
   • 训练阶段：仅微调10%参数时，MMLU任务准确率73.89%，接近全参数微调（73.56%）。
     
   • 压缩任务：INT8量化下，GSM8K准确率76.27%，接近原始模型（77.41%），显著优于GPTQ（75.66%）。
     

2. 可解释性发现

   • 层间差异：Qwen模型的v_proj层Shapley值普遍较高，Llama模型则在k_proj和o_proj层（9-15层）表现突出（图1）。
     
   • 神经元补偿效应：冻结低重要性神经元后，剩余神经元Shapley值动态上升，类似神经科学的代偿机制（图3b）。
     

五、结论与价值

科学价值：
1. 首次将Shapley值扩展至LLMs参数级分析，理论满足零玩家性（null player）、对称性（symmetry）等公理；
2. 提出单次反向传播计算框架，计算效率较传统方法提升约$10^6$倍。

应用价值：
- 知识注入：保护高Shapley参数可减少灾难性遗忘（catastrophic forgetting）；
- 模型压缩：Shapley引导的量化在INT8下仅损失1.14%准确率；
- 可解释性：定位任务相关神经元（如数学推理集中在5-17层）。

六、研究亮点

1. 方法创新：二阶闭式近似与Fisher分块策略，首次实现LLMs参数级Shapley值高效计算；
   
2. 跨领域验证：在CV（ViT-base/16）和NLP（Qwen/Llama）模型中均表现优异；
   
3. 动态补偿机制：发现参数功能再分配现象，为神经网络可塑性研究提供新视角。
   

七、其他价值

团队指出未来可扩展至多模态任务和持续学习场景，并探索Shapley值在模型编辑（model editing）中的应用潜力。硬件兼容性测试显示，方法可在单卡A100上处理70亿参数模型。