基于难度的知识蒸馏（DA-KD）：高效大语言模型蒸馏新框架

一、 研究团队与发表信息

本项研究由来自北京航空航天大学复杂软件环境国家重点实验室、北京航空航天大学计算机科学与工程学院、北京航空航天大学人工智能学院、商汤研究院以及苏黎世联邦理工学院的研究团队共同完成。主要作者包括贺昌益、丁一夫、郭金洋、宫如豪、秦浩彤和刘祥龙，通讯作者为郭金洋。该研究以论文形式《DA-KD: Difficulty-Aware Knowledge Distillation for Efficient Large Language Models》发表于2025年在加拿大温哥华举行的第42届国际机器学习会议（ICML 2025）的会议论文集（Proceedings of the 42nd International Conference on Machine Learning, PMLR 267）。

二、 学术背景与研究目标

本研究的核心领域属于人工智能，具体聚焦于大语言模型的高效压缩与知识蒸馏。随着以Llama、Qwen等为代表的大语言模型展现出的卓越能力，其庞大的参数规模和巨大的计算与存储需求对实际部署构成了严峻挑战。模型压缩技术（如量化、剪枝、知识蒸馏）成为解决此问题的关键途径。其中，知识蒸馏旨在将高性能、大参数量的教师模型的知识迁移至更紧凑的学生模型中，以实现高效推理。

然而，当前面向大语言模型的知识蒸馏方法仍存在一个显著痛点：高昂的训练成本。例如，对拥有数十亿参数的模型进行蒸馏通常需要数百个GPU小时。现有方法虽然尝试通过知识缓存、自蒸馏、数据集浓缩等策略来提升效率，但这些研究主要集中于传统的计算机视觉或语言处理下游任务，而很少深入探讨针对生成式大模型的高效数据集选择问题。此外，现有方法普遍忽略了不同训练样本之间的难度差异，对所有样本“一视同仁”地进行蒸馏，导致对已掌握样本的无谓重复计算，进一步加剧了训练开销。

针对上述问题，本研究提出了一种全新的知识蒸馏框架——基于难度的知识蒸馏。其核心目标是实现高效且有效的大语言模型知识蒸馏。具体而言，研究旨在通过动态调整蒸馏数据集，筛选出对当前学生模型最具挑战性、知识迁移价值最高的样本进行重点训练，从而在保证甚至提升学生模型性能的同时，大幅降低训练所需的计算成本和迭代次数。

三、 详细研究流程与方法

研究主要包含两大核心创新模块：难度感知数据更新策略和双向差异损失函数。整体工作流程（如论文图2所示）是一个动态、迭代的过程。

第一模块：难度感知数据更新

此模块的目标是动态构建并更新蒸馏训练集，其核心在于对每个样本进行难度评估与筛选。

1. 蒸馏难度分数的定义与计算：研究首先提出了一个衡量样本蒸馏难度的量化指标——蒸馏难度分数。其计算方式为：DDS(x) = L_qθ(x) / L_p(x)，其中 L_qθ(x) 和 L_p(x) 分别代表学生模型和教师模型在样本x上产生的交叉熵损失。该指标的设计逻辑源于直观的教学思想：只有当教师对某个知识点（样本）掌握得很好（教师损失低），而学生感到困难（学生损失高）时，该知识点（样本）才最有教学（蒸馏）价值，此时DDS值会很大。反之，若师生都掌握得很好（双低损失），或者教师本身也掌握不好（双高损失），则DDS值较小，蒸馏价值有限。DDS能够精准捕捉师生模型在具体样本上的性能差距，作为数据选择的依据。

2. 分层数据更新策略：在每个训练轮次开始时，研究团队会对整个初始数据集计算所有样本的DDS值并进行降序排序。他们设定了一个动态衰减的数据选择比例r（初始为1，即使用全部数据），该比例随着训练轮次的增加按线性或余弦衰减计划逐步减小（如公式2所示），这意味着用于蒸馏的数据总量会随时间推移而减少。 接下来，研究团队实施分层抽样以避免仅关注高难度样本带来的灾难性遗忘和多样性不足问题。具体步骤为：

   • 根据当前轮次的r值，将排序后的数据集划分为两个部分：高难度分区D_high（包含排名前r比例的样本）和低难度分区D_low（包含剩余样本）。
   • 然后，并非从D_high中选取所有样本，而是按照一个平衡系数τ（例如0.1），从D_high中随机抽取(1-τ)比例的样本，同时从D_low中随机抽取τ比例的样本。
   • 将这两部分抽样的样本合并，构成当前训练轮次的最终蒸馏数据集D'。该策略确保了每个轮次的训练数据既以高难度样本为主，又保留了一定比例的、更具代表性的低难度样本，从而维持了数据分布的多样性，促进了学生模型的泛化能力。

第二模块：双向差异蒸馏

当数据选择策略更多地保留了困难样本后，研究团队发现现有的知识蒸馏损失函数（如KL散度、反向KL散度等）在面对主要由困难样本构成的数据集时，可能会因为优化不稳定（梯度爆炸或消失）以及对困难样本关注不足而表现不佳。

为此，研究提出了一个全新的损失函数——双向差异损失。该损失函数建立在传统KL散度之上，但创新性地将教师和学生模型的概率分布进行了双向混合。其数学表达式为：D_BDL(p, qθ) = D_KL( ((1-λ)p + λqθ) || (λp + (1-λ)qθ) )，其中p和qθ分别是教师和学生的概率分布，λ是一个平衡系数（论文中经过实验确定为0.9时效果最佳）。

BDL的核心优势通过梯度分析得以证明。通过将混合分布pm = (1-λ)p + λqθ和qm = λp + (1-λ)qθ代入损失函数并计算关于学生参数的梯度，研究发现： * 稳定性：梯度项中的系数c(x)的取值范围被系数λ预先限定在一个有限的区间内，不依赖于教师或学生概率分布的极端值（趋于0或无穷大）。这从根本上避免了在困难样本上因学生输出分布极端而可能引发的梯度爆炸或消失问题。 * 对困难样本的关注：当λ设置得当（如0.9）时，c(x)的值会随着学生与教师概率比值qθ/p的增大而单调增加。在困难样本上，学生模型往往输出概率与教师差异很大（qθ/p较大），这意味着c(x)会更大，从而在反向传播时赋予这些困难样本更大的梯度权重，迫使模型更加关注于学习这些样本。

因此，BDL不仅通过分布混合实现了更平滑、更稳定的优化过程，还具备自动聚焦于困难样本的内在机制。

实验设计与流程

研究通过广泛的实验验证了DA-KD框架的有效性。实验设置了两种主要场景：任务无关的指令跟随和任务特定实验。

1. 模型与数据集：教师模型选用Llama2-7B和Qwen2.5-7B，学生模型则选用对应的裁剪版（如Llama2-2.7B/1.3B, Qwen2.5-1.5B/0.5B）以及Llama3.2系列模型。蒸馏训练使用Databricks-Dolly数据集。评估则分别在五个指令跟随数据集（Dolly Eval, Self-Instruct等，使用ROUGE-L分数）以及两个任务特定数据集（文本摘要任务SAMSum使用ROUGE-L，数学推理任务GSM8K使用零样本准确率）上进行。

2. 对比方法：研究将DA-KD与多种基线方法进行比较，包括：纯监督微调、传统的基于KL散度的知识蒸馏、反向KL散度蒸馏、序列级知识蒸馏、广义知识蒸馏以及最新的DistillM方法。

3. 实施细节：所有模型均训练10个轮次，使用AdamW优化器和余弦学习率调度器。在DA-KD中，关键参数设定为τ=0.1，λ=0.9，数据选择比例r采用余弦衰减。

四、 主要研究结果与分析

实验结果表明，DA-KD框架在性能和效率上均显著超越了现有方法。

1. 任务无关指令跟随性能：如表1所示，在Llama2和Qwen2.5的多个压缩规模下，DA-KD在绝大多数评估数据集上都取得了最高的平均ROUGE-L得分。例如，Llama2-2.7B学生模型在DA-KD蒸馏下平均得分达到28.11，超过了表现次优的KD-RKL方法（27.70）。更引人注目的是，经过DA-KD蒸馏的Qwen2.5-1.5B模型（压缩4.7倍）和Llama2-2.7B模型的平均性能甚至超过了其原始的7B教师模型。这证明了通过难度感知选择出的数据更具信息量，以及BDL带来的稳定优化，能够使学生模型在某些方面实现“青出于蓝”。

2. 任务特定实验性能：如表2所示，在文本摘要（SAMSum）和数学推理（GSM8K）任务上，DA-KD同样全面领先。特别是在SAMSum上，经DA-KD蒸馏的Qwen2.5-1.5B学生模型（40.05）再次超越了其7B教师模型（39.70）。对于更复杂的数学推理任务，虽然压缩后的小模型性能仍有下降，但DA-KD相比其他方法取得了显著提升（例如Qwen2.5-1.5B达到54.66%准确率），显示了其在知识密集型任务上的有效性。

3. 训练效率：表3和图1明确展示了DA-KD在效率上的巨大优势。在将Llama2-7B蒸馏至2.7B的实验中，DA-KD仅需1963次训练迭代，而所有其他对比方法都需要3570次迭代，迭代次数减少了45%。在训练时间上，DA-KD仅需106.35分钟，远少于GKD的408.24分钟和DistillM的213.34分钟。这直接归功于DiffUp策略随着训练进程动态筛除简单样本，减少了每轮的数据处理量。尽管计算DDS会引入额外开销（约28分钟），但总体训练成本仍大幅降低。

4. 消融研究：为了验证各组件的作用，研究团队进行了详尽的消融实验。

   • DiffUp有效性（表4）：移除DDS（随机选择数据）导致平均性能下降1.07分；移除分层更新（SDU，只使用高难度样本）导致性能下降0.91分；完全移除DiffUp（使用全部数据）性能也下降0.24分。这证明了基于难度动态筛选数据以及保持数据多样性的必要性。
   • BDL有效性（表5）：将BDL替换为其他损失函数（KL, RKL, JSD, SKL, SRKL）进行对比，结果显示BDL取得了最高的平均得分（26.15），证明了其在处理困难样本时的优越性。
   • 参数分析（图4）：对BDL中平衡系数λ的分析表明，当λ=0.9时模型表现最佳。λ=0.5时性能最差，这与梯度系数范围最小、可能导致梯度消失的分析一致。λ在0.6到0.9之间性能持续提升，印证了结合正向与反向KL散度特性对训练的益处。

五、 研究结论与价值

本研究提出并验证了一个名为DA-KD的创新型大语言模型高效知识蒸馏框架。该框架成功解决了现有方法训练成本高昂的痛点，其核心贡献在于： * 科学价值：首次将“样本难度动态评估”与“分层数据更新”机制系统性地引入大语言模型的知识蒸馏过程，为高效的数据选择提供了新的理论视角和技术路径。同时，所提出的双向差异损失函数从理论上分析和解决了困难样本蒸馏中的梯度不稳定和关注度不足问题，丰富了知识蒸馏损失函数的设计思路。 * 应用价值：DA-KD框架能够以显著更低的计算成本（约一半的迭代和训练时间），训练出性能更优甚至超越教师模型的小型学生模型。这极大地降低了大语言模型在资源受限环境（如边缘设备、移动端）中部署的门槛，为实际产业应用提供了高效、实用的模型压缩解决方案。

六、 研究亮点

1. “难度感知”的核心创新：区别于以往“静态”或“随机”的数据选择，DA-KD框架通过DDS动态评估并聚焦于师生模型当前差距最大的困难样本，实现了蒸馏过程的“精准教学”，是提升蒸馏效率的根本原因。
2. 效率与性能的双重突破：实验结果表明，DA-KD不仅大幅减少了训练开销，还在多个基准测试上实现了性能的全面提升，甚至在部分案例中使学生模型反超了教师模型，这在以往的压缩工作中是罕见的。
3. 理论分析与工程实践结合：研究不仅提出了新的方法，还通过严谨的梯度分析，从理论上解释了BDL损失函数为何能够稳定训练并关注困难样本，体现了深厚的理论支撑。
4. 系统性框架设计：DA-KD是一个完整的框架，涵盖了从数据选择（DiffUp）到损失函数优化（BDL）的全流程，各部分协同工作，具有良好的可扩展性和实用性。

七、 其他有价值的讨论

论文也坦诚地指出了DA-KD框架的局限性：其性能依赖于教师模型的质量。如果教师模型在某些样本上给出了错误的预测，DDS机制可能会错误地识别困难样本，从而影响学生模型的最终表现。此外，对于数学推理这类需要复杂逻辑和多步推理的任务，将知识蒸馏到极小的模型中仍是一个挑战，这也是未来研究可以继续探索的方向。最后，如何更精细地确定BDL中系数λ的最优值，也是一个有待深入探讨的开放性问题。