本文档报告了一项名为“graykd: distilling better knowledge from black-box llm via multi-rationale injection”的原创性研究，属于类型a。以下是对该研究的全面介绍报告。

关于 GrayKD：通过多推理注入从黑盒大语言模型中蒸馏更好知识的学术研究报告

作者、机构与发表信息

本研究的核心作者包括来自韩国中央大学人工智能系的 Hyeongsoo Lim, Jin Young Kim, Min Ho Jang, Eun Seo Seo 以及通讯作者 Ji Won Yoon*，以及来自 42dot Inc. 公司的 Hyung Yong Kim, Youshin Lim, Shukjae Choi, Jihwan Park, Yunkyu Lim, Hanbin Lee, Byeong-yeol Kim 等人。这项研究工作已提交至或准备发表在人工智能领域的顶级会议 AAAI-26，即第40届人工智能促进协会人工智能会议。虽然文中没有给出最终发表的卷期号，但页眉标注了“Fortieth AAAI Conference on Artificial Intelligence (AAAI-26)”和起始页码31997，这表明它极有可能是一篇被AAAI-26收录的会议论文。

研究的学术背景

本研究属于人工智能与机器学习领域中，大语言模型压缩与优化的前沿研究方向，具体聚焦于知识蒸馏技术。随着大语言模型遵循缩放定律性能不断提升，其庞大的参数量和计算需求严重阻碍了在资源受限环境中的部署。为了缓解这一问题，知识蒸馏作为一种主流的模型压缩方法，旨在将大型、高性能的教师模型中的知识迁移到小型、高效的学生模型中。

在LLM知识蒸馏的实践中，根据教师模型内部参数的可访问性，主要分为两类：白盒KD与黑盒KD。白盒KD使用如Llama、Qwen、SmollM2等开源模型作为教师，可以直接访问其内部参数（如Softmax分布），从而进行更丰富、更直接的知识迁移。而黑盒KD则使用诸如GPT-4、Claude等通过API访问的闭源模型作为教师，只能获取其文本级别的输出，无法获得完整的概率分布。这种有限监督使得黑盒KD的效果通常逊于白盒KD。然而，黑盒LLM通常具备更强的语言理解和推理能力，如果能有效利用其知识，将成为一个极其优质的教师来源。

因此，本研究旨在解决一个核心问题：如何弥合黑盒KD与白盒KD之间的性能差距？具体目标是，在不训练额外大型代理模型、不访问黑盒教师内部参数的前提下，有效利用黑盒LLM仅有的文本输出，来近似其丰富的Softmax分布知识，并将其高效地蒸馏到小型学生模型中。GrayKD框架应运而生，其核心思想是通过注入黑盒LLM生成的多重推理，在一个单阶段的训练流程中，实现从黑盒教师到学生模型的软标签级知识蒸馏。

详细的工作流程

GrayKD的整体流程设计精巧，围绕一个共享的学生模型主干，构建了教师模式和学生模式两个可切换的角色，并包含数据准备、模型架构、训练目标等多个关键步骤。

第一步骤：数据与推理生成。 研究首先构建了训练数据集。他们采用了与Minillm和PromptKD研究类似的方法，基于Databricks-Dolly-15k数据集，筛选后得到约12.5k个指令-响应对用于训练，并划分了验证集和测试集。核心创新在于为每个训练样本生成多份“推理”。研究人员设计了一个提示词，其中包含问题、答案以及先前已生成的所有推理文本，以此引导黑盒LLM（实验中为GPT-4o-mini）生成新的推理。这个提示词的关键设计目标是促使模型在生成新推理时，有效利用目标答案，同时尽量减少与已有推理的重叠，从而确保生成的多份推理之间具有高度的信息多样性。例如，对于“如何区分拨浪鼓和拉贾奥琴”这个问题，第一份推理可能仅陈述分类结果，而第二、第三份推理则会逐步补充更具体的发声机制等细节信息。这种多样性被证明对后续的多教师蒸馏至关重要。

第二步骤：GrayKD模型架构设计。 这是本研究的核心创新点。GrayKD框架建立在同一个学生模型主干之上，该主干是一个标准的Transformer语言模型。 * 学生模式：即原始的学生模型，不做任何架构修改。其功能是接收输入序列x，通过Transformer层T得到隐藏状态h，再通过语言建模头H预测下一个词元y。在推理阶段，仅使用此模式。 * 教师模式：在共享的学生模型主干上，增加了轻量级的附加模块。首先，一组并行的推理编码器R接收从黑盒LLM生成的多份推理文本r，将其编码为推理嵌入e。每份推理对应一个独立的编码器。然后，一个融合模块F被引入。该模块采用交叉注意力机制，其中学生主干输出的隐藏状态h作为查询，而编码后的推理嵌入e作为键和值。通过交叉注意力计算，学生模型的状态与外部推理知识进行融合，得到增强后的隐藏状态h’。最后，同一个语言建模头H作用于h’，产生最终的预测逻辑。重要的是，教师模式与学生模式共享学生主干的参数，新增的参数仅来自推理编码器R和融合模块F，这使得整个架构非常参数高效。

第三步骤：训练流程与目标。 GrayKD的训练分为预热阶段和主体训练阶段，总共包含三个训练目标。 * 预热阶段：在最初的n个轮次中，仅训练学生模式。使用一个顺序知识蒸馏损失函数，将学生模式的输出与GPT生成的文本级输出对齐，目的是让学生模型初步适应目标分布，为后续与推理信息更好地协同工作打下基础。 * 主体训练阶段：在预热阶段结束后，同时优化教师模式和学生模式。训练目标由两部分加权组成：1) 教师模式损失：一个标准的交叉熵语言建模损失，在包含真实标签和GPT生成输出的数据上进行计算，确保教师模式自身具备良好的生成能力。2) 蒸馏损失：使用KL散度，将教师模式输出的软化后的Softmax分布知识，迁移到学生模式。其公式为 L_kd = KL(p_t / τ || p_s / τ)，其中p_t和p_s分别是教师模式和学生模式输出的概率分布，τ是温度参数。总的损失函数为 L_main = λ1 * L_teacher + (1 - λ1) * L_kd。通过超参数λ1平衡教师自身训练与知识传递。此外，在训练过程中还应用了两种策略来提升鲁棒性：混合采样策略，即将20%的真实答案替换为固定的GPT输出；随机掩码策略，即在每个推理中随机掩码15%的词元，这相当于一种数据增强，即使推理数量有限，也能通过不同的掩码模式组合产生更丰富的学习信号。

第四步骤：实验与分析流程。 1. 实验设置：学生模型选用SmollM2-360M。基准方法包括：有监督微调、经典知识蒸馏、序列级知识蒸馏、Minillm、PromptKD以及基于代理模型的方法ProxyKD。教师设置包括：白盒教师（SFT微调后的SmollM2-1.7B）、通过SeqKD和ProxyKD从GPT蒸馏得到的代理白盒教师。GrayKD自身则测试了使用双份推理和三份推理的配置。 2. 评估基准：使用五个指令跟随基准来评估模型生成的响应质量：Dolly（内部测试集）、Self-Instruct、Vicuna、S-NI（长响应子集）和UnNI（长响应子集）。评估指标采用ROUGE-L，这是一种衡量生成文本与参考文本重叠度的常用指标。 3. 分析实验：研究进行了深入的消融分析，包括：探究推理多样性对性能的影响（通过人工修改提示词改变推理相似性并计算余弦相似度）；计算成本对比（比较不同方法所需的参数量）；超参数λ1（即公式中的λ1）的网格搜索；以及移除混合采样或掩码策略的消融实验。此外，还提供了定性案例研究，直观对比不同方法生成的回答质量。

主要研究结果

第一，主要性能结果：如表1所示，在各种指令跟随基准测试中，GrayKD（特别是使用三份推理的三重配置） consistently（一致地）超越了所有基线方法，取得了最高的平均ROUGE-L得分（27.64）。值得注意的是，即使是性能同样很强的基线方法PromptKD，在使用1.7B参数的代理白盒教师（White Teacher 3）时，其性能（26.44）也不及仅使用610M总参数（学生360M + 额外参数约250M）的GrayKD。这直接证明了GrayKD的有效性：它成功地在不训练任何大型白盒代理教师的情况下，逼近了黑盒教师（GPT-4o-mini）的软标签分布，并实现了超越白盒KD方法的性能。

第二，推理多样性的关键作用：表2的分析结果有力地支持了“多教师”配置的优势。当研究人员通过修改提示词人为增加三份推理之间的相似性（余弦相似度从0.8254升高到0.8715）时，模型在各个基准上的性能出现了明显下降。这表明，注入高度多样化的、信息互补的推理，对于模拟多教师、提供更全面的监督信号至关重要。低相似度（高多样性）的推理组合带来了最佳性能。

第三，计算效率优势：如表4所示，传统的KD方法（包括基于代理的黑盒KD）需要训练一个完整的大型白盒教师模型（如1.7B的SmollM2），导致总参数量使用超过20亿。而GrayKD完全避免了额外的教师模型训练，仅需在学生模型上添加轻量级模块，总参数量仅为6.1亿，其中学生模型本身占3.6亿。这显著降低了训练的计算负担和资源需求，使得方法更具可扩展性和实用性。

第四，消融与参数分析结果：表5显示，移除混合采样策略或掩码策略都会导致模型性能下降，同时移除两者时性能下降最为显著（平均ROUGE-L下降1.30），证明了这些训练策略对稳定性和性能提升的有效性。图2展示了超参数λ1的调优结果，发现当λ1=0.4（即L_teacher权重0.4，L_kd权重0.6）时，在开发集和评估集上都能取得最佳性能，表明在训练教师模式本身和从教师向学生蒸馏知识之间需要取得一个良好的平衡。

第五，定性评估结果：表6提供了一个生动的案例。对于“恐龙有嘴唇吗？”这个问题，SFT和经典KD只给出了简单的否定回答；Minillm的回答包含了“恐龙没有牙齿”这样的错误事实；PromptKD的回答则逻辑混乱。而GrayKD给出了一个细致、合理的回答：“恐龙可能没有像我们一样的嘴唇，但它们可能有类似的结构…这与现代鸟类的情况类似。” 这个回答展示了条件性陈述和类比推理。当使用信息稀疏的推理（sim1变体）训练时，GrayKD的回答又退化成了简单的否定句。这定性地证明了推理信息的丰富性直接决定了模型回答的详细性、准确性和逻辑性。

研究结论

本研究得出结论：GrayKD是一种新颖、高效的知识蒸馏框架，能够有效迁移黑盒教师模型在文本层面蕴含的知识。通过将黑盒LLM生成的多样化推理直接注入到学生架构中，该方法能够以对学生更友好的方式，近似黑盒教师的内在知识分布。实验结果表明，GrayKD在多个指令跟随基准上显著超越了现有的白盒和黑盒KD方法，同时完全消除了对独立代理教师模型的需求。这为在资源受限环境下利用顶级闭源LLM的强大能力来培育高性能小模型，开辟了一条新的实用路径。

研究的亮点与价值

科学价值与应用价值： 1. 理论方法创新：提出了“通过多推理注入实现单阶段黑盒软标签蒸馏”的新范式。它巧妙地绕过了直接访问黑盒模型内部参数的障碍，也避免了训练庞大代理模型的负担。 2. 性能突破：首次实现了在纯粹黑盒设定下，小模型性能超越依赖白盒代理教师的先进蒸馏方法，弥合了黑盒KD与白盒KD之间的性能鸿沟。 3. 高效性与实用性：极高的参数效率（仅需少量额外参数）和单阶段训练流程，大幅降低了计算成本和工程复杂度，使得利用顶级闭源API蒸馏小模型变得更具可行性。 4. 启发性：揭示了“推理”作为一种中间知识表征在知识传递中的强大潜力，以及信息多样性在多教师蒸馏中的关键作用。

研究的重要发现与新颖性： 1. 核心创新点：提出了教师模式/学生模式共享主干的参数高效架构，以及利用交叉注意力融合多推理的机制。 2. 关键发现：证明了通过精心设计提示生成多样化推理，可以在不访问logits的情况下有效逼近黑盒教师的输出分布。 3. 方法新颖性：将“多推理”自然转化为“多教师”，在一个统一框架内实现了多教师知识蒸馏，且对师生模型的Tokenizer是否一致没有要求，增强了方法的通用性。 4. 工程贡献：引入了混合采样和推理随机掩码等训练策略，提升了方法的鲁棒性和最终性能。

GrayKD研究在LLM知识蒸馏领域做出了重要的贡献，它不仅提供了一种高性能的黑盒蒸馏解决方案，其核心思想——利用外部生成的、多样化的解释性文本来增强模型内部表示——也为更广泛的模型压缩、知识迁移和模型可解释性研究提供了新的思路。