本研究报告旨在向学术同仁介绍一项发表于AAAI 2026（AAAI-26）的研究工作，该工作由浙江大学、腾讯优图实验室与新加坡国立大学的研究人员合作完成，论文标题为“LLM-Oriented Token-Adaptive Knowledge Distillation”。以下是针对该项研究的详细学术报告。

作者、机构与发表信息 本研究的主要作者包括来自浙江大学的Xurong Xie、Zhucun Xue、Yong Liu、Jiangning Zhang，来自腾讯优图实验室的Jiafu Wu、Jian Li、Yabiao Wang，以及来自新加坡国立大学的Xiaobin Hu。其中，Xurong Xie与Zhucun Xue为共同第一作者，Yong Liu与Jiangning Zhang为共同通讯作者。该项研究成果已发表在“The Fortieth AAAI Conference on Artificial Intelligence (AAAI-26)”上。

研究背景与目的 本研究隶属于自然语言处理领域，特别是大型语言模型压缩技术方向。知识蒸馏（Knowledge Distillation, KD）是压缩大型语言模型的关键技术之一，其核心思想是将大型“教师模型”的知识转移至更小的“学生模型”。在诸多知识蒸馏方法中，基于输出概率分布（Logit-based）的蒸馏因其简洁性而广泛应用。然而，论文作者指出当前的主流方法存在两个关键局限：其一，对训练序列中的所有词元（Token）采取无差别的、静态的蒸馏策略，忽略了学生模型在学习过程中对不同词元掌握程度的动态变化；其二，使用固定的全局蒸馏温度（Temperature），无法根据每个词元的具体学习难度进行针对性的知识转移。

为了直观展示上述问题，研究者首先分析了学生在跟随指令任务中的词元级学习动态。他们发现，不同词元对学生模型的难度并非一成不变：有些词元（如论文示例中的“2007”）在整个训练过程中都极具挑战性；有些（如“le”和“bron”）的难度会动态变化；而许多“简单”词元（如“nba”和“in”）在训练早期便被快速掌握。更深入的分析表明，在后续训练阶段继续在已掌握的“简单”词元上计算损失，其产生的梯度不仅更新幅度微小，而且方向与整体批次梯度几乎正交，甚至有时与有监督微调（Supervised Fine-Tuning, SFT）的方向相反，这不仅效率低下，还可能引入不稳定的冲突信号，阻碍知识转移。

基于此，本研究旨在解决这些局限，提出一种新的、能够动态适应每个词元实时学习状态的蒸馏框架。其目标是使蒸馏过程更具针对性，在训练的不同阶段，将计算资源和学习信号聚焦于当前对学生模型最有价值的词元上，并通过自适应的温度调节机制，实现对不同难度词元的最优知识转移，从而提升学生模型的最终性能和蒸馏效率。

研究详细工作流程 本研究提出的新框架名为“面向LLM的词元自适应知识蒸馏”（LLM-Oriented Token-Adaptive Knowledge Distillation, AdaKD）。AdaKD并非一个全新的、独立的蒸馏损失函数，而是一个可以灵活“插入”到现有各种Logit-based蒸馏方法中的“即插即用”增强框架。其核心设计理念是基于一个统一的词元难度指标，驱动两个协同工作的自适应模块。整个工作流程如论文图2和算法1所示，主要包含以下几个关键步骤和组件：

1. 统一词元难度指标的构建：这是整个自适应框架的基础。研究选择了对称的Hellinger距离作为衡量每个输出词元( y_i )学习难度的指标( s_i )。该指标计算公式如下： [ si = \frac{1}{\sqrt{2}} \sqrt{\sum{y_i \in V} \left( \sqrt{p(yi|x, y{})} - \sqrt{q_{\theta}(yi|x, y{})} \right)^2} ] 其中，( p )和( q_{\theta} )分别是教师模型和学生模型在给定上下文和词元历史下，在完整词汇表( V )上的输出概率分布。该指标取值范围在[0,1]之间。选择Hellinger距离的优势在于其对称性，避免了如正向KL散度（FKD）或反向KL散度（RKD）等非对称指标的固有偏好；同时，其平方根运算对教师和学生分布在低概率候选词上的差异更为敏感，能够提供一个更全面、更精细的学习困难度信号。

2. 损失驱动的自适应词元聚焦模块（Loss-driven Adaptive Token Focusing, LATF）：该模块负责动态地选择在每个训练阶段最值得关注的词元子集进行计算。其核心是一个基于反馈的、自适应的采样比例调节机制。

   • 处理方式：在每个训练步骤，首先计算当前批次所有词元的难度分数( s )。
   • 实验方法：不是对所有词元一视同仁地计算蒸馏损失，而是仅对难度排名在前( r_t\% )的词元（即最难的词元）应用损失函数。损失计算如公式（4）所示。
   • 创新算法：关键的创新在于，采样比例( rt )不是固定的，而是动态调整的。LATF通过监控蒸馏损失的指数移动平均值（EMA）来评估学生的学习稳定性。在预热阶段后，它设置一个损失参考点( l{ref} )。
     • 如果当前平均损失( \bar{l}t )低于某个容忍阈值( (1 - \epsilon) l{ref} )，说明学习状态稳定，系统会减少( r_t )（乘以( 1-\delta )），从而进一步聚焦于更少量、更难的词元，推动学生挑战更高难度。
     • 如果( \bar{l}t )高于阈值( (1 + \epsilon) l{ref} )，说明模型学习遇到困难，系统会增加( r_t )（乘以( 1+\delta )，上限为1.0），纳入更多相对简单的词元来稳定训练过程。
     • 如果在容忍区间内，则保持( r_t )不变，避免对训练的正常波动反应过度。
     • 每当( rt )被调整后，损失参考点( l{ref} )会重置为当前的( \bar{l}_t )，确保基准是动态的。
   • 数据与分析：该模块的“研究对象”是整个训练过程中的损失序列。通过追踪损失变化，算法判断模型学习状态，进而决定是否调整词元关注范围。这种设计旨在过滤掉已掌握词元可能带来的不稳定梯度噪声，使训练过程更稳定。

3. 反难度温度缩放模块（Inverse Difficulty Temperature Scaling, IDTS）：该模块负责为LATF选出的每个高难度词元，分配合适的蒸馏温度。其核心理念与传统做法相反：对困难词元使用低温度，对相对简单的词元使用高温度。

   • 处理方式与实验方法：对于每个被选中的词元( y_i )，IDTS基于其难度分数( s_i )计算一个专属的温度( \tau_i )。
   • 创新算法：首先，将原始难度分数( s_i )转换为一个归一化的学习状态( \hat{s}_i \in [-1, 1] )，转换过程（公式（9））涉及与批次中位数比较、取对数压缩长尾分布、再用双曲正切函数平滑映射。 [ \hat{s}_i = \tanh(\log(si / \text{median}(s))) ] 然后，通过一个指数函数动态调制一个基础温度( \tau{base} )（公式（10））： [ \taui = \tau{base} \cdot \exp(-c \cdot \hat{s}_i) ] 其中，负号是关键，它实现了“反难度”原则：当( \hat{s}_i )较大（即困难词元）时，( \exp(-c \cdot \hat{s}_i) )较小，导致( \tau_i )较低；反之，对较简单的词元，( \tau_i )较高。超参数( c )控制调制的强度。
   • 理论分析：研究者从梯度分析角度证明了该设计的合理性。推导表明，KL散度损失的梯度范数与难度分数( s_i^2 )成正比，与温度( \tau_i^4 )成反比（公式（17））。因此，对于困难的词元（( s_i )大），为了产生更大的梯度以加速收敛，需要一个较低的( \tau_i )；对于简单的词元（( s_i )小），需要一个较高的( \tau_i )来产生较小的梯度，防止在已学好的知识上过度调整。

4. 整合训练流程：最终的AdaKD损失结合了LATF的选择和IDTS的自适应温度。对于教师和学生模型对每个位置的输出logits ( z_p ) 和 ( z_q )，先通过公式（3）计算难度，用LATF决定哪些位置需要计算损失，再用IDTS为这些位置计算各自的温度( \tau_i )。接着，用这些温度分别缩放教师和学生的logits并通过softmax得到概率分布，最后计算二者之间的KL散度作为损失（如FKD或RKD）。整个过程如算法1所述，是一个端到端的训练流程。

主要研究结果 研究者进行了广泛的实验来验证AdaKD的有效性、通用性和各个组件的贡献。

1. 主要性能结果：在Qwen2-7B到Qwen2-1.5B以及OpenLLama2-7B到OpenLLama2-3B的蒸馏任务中，在Dolly-Eval、Self-Instruct、Vicuna-Eval等五个指令遵循基准测试上，使用Rouge-L指标进行评价。如表1所示，AdaKD作为一个“即插即用”的增强模块，与多种前沿的蒸馏基线方法（如FKD、RKD、ABKD、GKD、DistillM）结合后，都能一致且显著地提升学生模型的性能。例如，在Qwen2体系上，当与RKD结合时，平均Rouge-L得分从31.70提升至32.97（提升1.27分）；与GKD结合时，从28.14提升至29.74（提升1.60分）。这强有力地证明了动态适应学生实时学习状态的机制是知识转移中一个稳健且关键的元素，且不依赖于特定的底层蒸馏目标函数。

2. 消融实验与组件分析：

   • 核心组件贡献：表2的消融研究表明，IDTS模块单独使用就能带来显著的性能提升（从37.03提升至38.55），而LATF模块单独使用时性能增益有限（37.07）。然而，二者结合（完整的AdaKD）达到了最佳性能（39.01）。这表明两个模块存在协同效应：LATF通过过滤掉已掌握词元的噪声梯度来稳定训练过程，为IDTS更有效地对剩余高价值词元应用其自适应教学策略创造了条件。
   • 难度指标选择：表3比较了多种分布度量作为难度指标的效果。结果表明，最优的指标并非总是蒸馏损失本身（例如，FKL作为指标优于RKL）。对称性指标（如Hellinger距离和JS散度）在大规模基准测试上显示出优势。交叉熵（相对于真实标签）在特定数据集上表现最佳。总体而言，Hellinger距离取得了最高的平均分，验证了其为自适应框架提供平衡且全面的分歧信号的可靠性。
   • LATF设计验证：表4和图3(a,b)显示，LATF的自适应策略优于静态或预定义的退火调度策略。预定义调度在训练后期盲目增加难度可能导致损失上升，而LATF能够根据实时损失反馈调整聚焦比例，展现出更强的鲁棒性，无需针对特定任务调整调度曲线。
   • IDTS设计验证：表5对比了多种温度策略。实验结果否定了“高温度应对困难词元”（逆缩放）的假设。同时，AdaKD的IDTS策略不仅超越了所有固定温度基线，也优于使用该方法理论最优下界温度（( \tau \approx e^{-0.5} )）的版本，证明了动态的、词元级的温度应用是关键。此外，其性能也超过了其他自适应温度方法（如CTKD、Logit Std.）。图3(c,d)显示，调制强度c在0.5时取得了最佳的平均性能。

3. 动态机制可视化分析：图4通过展示训练开始和结束时不同指标（分配的温度、学生输出熵）的分布，揭示了AdaKD内部机制的动态协同。关键发现是，IDTS模块通过其反难度策略，引导所有词元的输出信息熵趋于一致，无论其初始难度如何。这意味着，对于困难词元，低温度使得学习目标更“尖锐”（集中在教师的主要预测上），进行纠错；对于简单词元，高温度使得学习目标更“平滑”（覆盖教师的完整分布），促进泛化。此外，图4的温度分布演化显示了与LATF的协同：训练早期，简单词元的温度分布峰值高且尖锐；训练后期，LATF过滤掉大量已完全掌握的简单词元后，剩下的“简单”词元集合更精炼，IDTS为其分配的温度分布也变得更为平滑。

研究结论与价值 本研究得出结论，提出的AdaKD框架成功克服了静态蒸馏策略的局限性。通过将LATF（动态聚焦有价值词元以稳定训练）和IDTS（根据词元难度反比例分配温度以分别实现针对性纠错和泛化增强）相结合，AdaKD能够动态地使蒸馏过程适应每个词元的实时学习状态。作为一个即插即用的增强框架，AdaKD能够持续提升多种不同蒸馏方法、不同模型架构在多个基准测试上的性能。

该研究的科学价值在于深化了对知识蒸馏动态过程的理解，并提出了一种新颖的、理论驱动的自适应机制。其实用价值非常高，它提供了一种通用、有效且易于集成的工具，可以无缝增强现有的大型语言模型压缩流水线，帮助获得性能更优、更高效的小型学生模型，促进大模型在资源受限环境中的部署和应用。

研究亮点 1. 重要的发现：揭示了在知识蒸馏过程中，不同词元对学生模型的学习难度是动态演变的，且训练后期在已掌握的“简单”词元上计算损失会产生微小且不稳定的梯度，可能阻碍学习效率。 2. 方法的新颖性：首次提出了一个由统一词元难度指标驱动的、包含两个协同模块的自适应知识蒸馏框架（AdaKD）。其中，LATF模块通过监控损失实现自适应的词元聚焦，IDTS模块提出了反直觉的“反难度”词元级温度缩放策略。 3. 成果的普适性与有效性：AdaKD被设计为即插即用的增强模块，实验证明其能广泛兼容并显著提升各种先进的蒸馏目标函数（RKD, ABKD, GKD等）和不同模型家族（Qwen2, LLaMA）的性能，展现了强大的通用性和鲁棒性。 4. 深入的理论与实证分析：研究不仅提出了方法，还从梯度分析的角度（公式推导）为IDTS的设计提供了理论解释，并通过详尽的消融实验、指标对比和动态可视化，系统地验证了各个设计选择的合理性与协同作用。

其他有价值内容 论文还提供了代码和扩展版本的链接，方便其他研究者复现和深入探索。扩展版本可能包含了更多实验细节、在其他模型（如GPT-2）上的结果以及进一步的效率比较等信息。