本文档是一篇被ICLR 2026接受发表的学术会议论文，报告了一项名为Disco的原创性研究。因此，我将根据类型a的要求，撰写一份详细的学术报告。

关于高效模型评估新方法Disco的学术研究报告

本报告介绍一项发表于ICLR 2026的原创性研究，题为“Disco：用于高效模型评估的多样化样本浓缩”。该研究由Alexander Rubinstein、Benjamin Raible、Martin Gubri和Seong Joon Oh共同完成，他们分别来自图宾根大学图宾根AI中心和Parameter Lab。

一、 研究背景与目标

学术领域与背景： 这项研究属于机器学习和人工智能领域，具体聚焦于大规模机器学习模型的高效评估（Efficient Evaluation）问题。随着大语言模型（LLMs）和多模态模型的飞速发展，模型评估的成本已变得极其高昂。例如，评估单个模型在LMMs-Eval或HELM等综合基准上可能需要数千个GPU小时。如此巨大的计算开销不仅阻碍了研究社区的包容性与创新迭代速度，也带来了不容忽视的环境影响。在此背景下，研究者们开始探索高效评估方法，其典型范式通常包含两个步骤：首先，从完整的测试数据集中选择一个有代表性的“锚点”（anchor points）子集；其次，训练一个映射函数，将模型在此子集上的表现外推至其在完整测试集上的最终性能。然而，现有的锚点选择方法（如基于聚类的Anchor Points、TinyBenchmarks）依赖于复杂的聚类过程，其设计选择敏感，且其核心假设（即追求样本本身的多样性）可能存在偏差。

研究动机与目标： 本研究旨在改进上述高效评估框架的两个环节。研究者提出了一个核心论点：对于模型评估而言，样本本身的多样性并非关键；真正重要的是模型响应的多样性。也就是说，应该选择那些能引发不同模型产生分歧预测的样本。基于此，本研究的目标是开发一个概念更简单、性能更优的高效评估方法。该方法命名为“多样化样本浓缩”（Diversifying Sample Condensation, Disco），其核心在于：1) 基于模型间的预测分歧（而非样本特征相似性）来选择最具信息量的样本子集；2) 利用模型在该子集上的完整输出模式（称为“模型签名”）直接预测其总体性能，避免了先前方法中复杂的潜在参数估计过程。研究旨在语言和视觉两大领域验证Disco的有效性，并在多个标准基准上达到最先进的性能预测精度。

二、 研究流程与方法详述

本研究包含两个核心流程：1) 数据集选择；2) 性能预测。整体工作流遵循一个严格的训练-测试协议，以确保公平比较。

1. 数据集选择流程：

• 研究对象： 一个完整的评估数据集 D（包含 n 个样本）和一组预先收集的源模型集合 F（包含 m 个模型）。源模型在完整数据集 D 上的真实性能是已知的。
• 处理与方法： a. 计算模型输出： 首先，在源模型集合 F 上运行评估脚本，获取每个模型在整个数据集 D 上每个样本的预测输出（对于分类任务，通常是每个类别的预测概率）。 b. 计算样本信息分数： 对于数据集 D 中的每一个样本 i，研究者计算一个能量化其“信息量”的分数。Disco的核心创新在于使用模型间的分歧作为信息量代理。论文提出了两种具体指标： * 广义詹森-香农散度（Generalised Jensen-Shannon Divergence, JSD）： 从信息论角度出发，论文推导出在特定假设下，样本 i 对于预测模型性能（如准确率）所能提供的互信息（Mutual Information）恰好等于各源模型在该样本上预测分布的JSD。因此，JSD越大，样本信息量越高。 * 预测多样性分数（Predictive Diversity Score, PDS）： 这是一个更直观的指标，本质上是模型在样本 i 上预测的“唯一argmax类别”数量的连续泛化。论文证明了PDS与JSD之间存在明确的上下界关系，确保了其有效性。 c. 选择锚点子集： 根据计算得到的每个样本的PDS或JSD分数，对所有样本进行降序排序。选择排名前 k（k << n）的样本，构成最终的Disco选择子集 D_disco。这个过程是贪婪且样本级的，无需进行全局聚类。
• 对比基线： 为了验证Disco选择策略的优越性，研究还实现了多种基线选择方法，包括：随机选择（Random）、基于模型置信度聚类的Anchor-Conf、基于正确性模式聚类的Anchor-Corr、基于项目反应理论（Item Response Theory, IRT）参数嵌入聚类的Anchor-IRT，以及通过迭代搜索寻找最佳子集的“Best for Validation”方法。

2. 性能预测流程：

• 研究对象： 待评估的目标模型集合 F̃，以及上一步选出的Disco子集 D_disco 和训练好的预测器。
• 处理与方法： a. 构建模型签名（Model Signature）： 对于一个目标模型 f，将其在 D_disco 子集上所有样本的原始预测输出（如概率向量）进行拼接，形成一个高维向量，称为该模型的“签名”，记作 f(D_disco)。这捕捉了模型在关键样本上的完整行为模式，比单一的准确率标量包含更丰富的信息。 b. 降维处理： 由于签名向量维度过高（样本数×类别数），为了减少存储负担和改善预测器泛化能力，研究采用主成分分析（PCA）对模型签名进行降维。 c. 训练性能预测器（训练阶段）： 使用源模型集合 F。每个源模型 f 都有其已知的完整数据集性能 s_f(D) 以及其在 D_disco 上的（降维后）签名。研究者训练一个预测器 R（如随机森林、K近邻回归、线性回归等），学习从模型签名到其真实性能的映射关系，即最小化 s_f(D) 与 R( f(D_disco) ) 之间的误差。 d. 预测目标模型性能（测试阶段）： 对于一个新目标模型 f̃，首先计算其在 D_disco 上的签名并降维，然后将其输入已训练好的预测器 R，得到其性能估计值 p_s_f̃(D)。
• 对比基线： 在预测阶段，研究对比了多种基线方法，包括：直接在锚点集上计算（加权）准确率（Weighted Sum）、基于IRT的校正方法（P-IRT, GP-IRT），以及结合了IRT能力估计和回归的Ability-IRT方法。

3. 实验设计与评估协议：

• 实验领域与数据集： 研究在语言和视觉两大领域进行验证。
  • 语言领域： 使用四个广泛使用的基准：MMLU（大规模多任务语言理解）、Hellaswag（常识推理）、Winogrande（代词消歧）、ARC（科学问答）。评估了来自Hugging Face Open LLM Leaderboard的424个大语言模型，涵盖不同架构和规模（13亿至720亿参数）。
  • 视觉领域： 使用ImageNet-1k数据集，评估了来自timm库的400个预训练图像分类模型。
• 模型划分策略： 为了模拟现实场景并检验方法的泛化能力，研究创新性地引入了时间顺序划分（Chronological Split）：将发布日期在某个截止日期（如2024年1月13日）之前的模型作为源模型（训练集），之后的模型作为目标模型（测试集）。此外，也测试了随机划分和按性能划分。
• 评估指标： 主要使用两个互补的指标：1) 平均绝对误差（MAE，以百分点%p为单位），衡量性能预测的绝对精度；2) 斯皮尔曼等级相关系数（Rank），衡量模型排名预测的一致性。

三、 主要研究结果详述

1. 语言领域主要结果（表1）： 在将测试集压缩至仅100个样本（例如，MMLU从14k样本压缩，成本降低99.3%）的极端条件下，Disco取得了卓越的性能。 * 模型签名的有效性： 即使仅使用随机选择的样本子集，结合模型签名和随机森林（RF）预测器的方法（Random/sig.+RF）在MMLU上达到了1.81%p MAE和0.933 Rank，已经超越了先前最先进的TinyBenchmarks方法（Anchor-Corr/GP-IRT: 2.08%p MAE, 0.927 Rank）。这证明了利用丰富输出模式直接预测性能这一思路的优越性。 * PDS选择策略的增益： 当在随机选择的基础上，进一步采用PDS选择最具分歧的样本（High PDS/sig.+RF），性能得到显著提升，在MMLU上达到1.07%p MAE和0.987 Rank的顶级水平。预测排名与真实排名的散点图（图4）几乎完全落在对角线上，显示出极高的排名一致性。这一结果强有力地支持了研究的核心假设：选择引发模型分歧的样本比选择“代表性”样本更有效。 * 对比SOTA方法： Disco在MMLU、Hellaswag、Winogrande和ARC四个基准上，在相同的100样本预算下，其MAE和Rank均全面优于TinyBenchmarks和Metabench（注：Metabench报告结果使用了更多样本，但仍不及Disco高效）等先前方法，实现了更优的效率-精度权衡。 * 不同压缩率下的稳健性： 图5展示了随着所用样本数量（k）的变化，各方法性能的变化曲线。Disco（特别是PDS+RF或KNN）在整个压缩率范围内（从极端压缩的10个样本到数百个样本）都保持领先。在极端压缩（如10样本）时，非参数的KNN预测器表现优于参数化的RF。

2. 关键因素分析（表2）： 研究者对Disco的各个设计选择进行了深入的消融分析。 * 模型划分： Disco在时间顺序划分下（Rank=0.987）与均匀随机划分下（Rank=0.986）表现几乎相同，表明其对现实世界中模型迭代的泛化鲁棒性。 * 分层采样： 在MMLU上，按任务分层选择样本的策略并未带来增益，甚至略有下降，进一步说明基于全局信息量（PDS）的选择优于基于先验结构（任务类别）的均衡选择。 * 源模型数量： Disco对源模型数量具有较好的数据效率。仅使用100个源模型时，其性能（0.969 Rank）已超过使用全部382个源模型的TinyBenchmarks。随着源模型增加，性能持续提升。 * 降维与预测器： PCA降维能有效提升性能（从0.918升至0.987）。在多种预测器中，随机森林（RF）表现最佳。

3. 视觉领域结果（表3）： 将ImageNet验证集（50k样本）压缩至100个样本（成本降低99.8%）后，Disco同样表现出色。使用随机样本+RF达到0.86%p MAE和0.944 Rank；使用PDS选择+RF进一步提升至0.63%p MAE和0.969 Rank，显著超越了视觉领域的基线方法（如Lifelong Bench.和SSEPY）。这证明了Disco方法的领域无关性及其通用价值。

4. 计算成本分析（附录）： 研究详细核算了Disco的离线（一次性）和在线（每模型）计算成本。以MMLU为例，离线阶段（评估所有源模型、选择锚点、训练预测器）约需3284 GPU小时。在线阶段评估一个新模型仅需约0.07 GPU小时，而直接完整评估需要8.53 GPU小时。计算表明，当需要评估约389个模型时，Disco的离线设置成本即可被分摊至与直接评估持平。考虑到模型开发过程中动辄产生数百个检查点，Disco具有显著的长期经济性。此外，源模型的输出可从开放平台获取，进一步降低实际应用门槛。

四、 研究结论

本研究提出了Disco，一个用于高效机器学习模型评估的新框架。其核心贡献在于： 1. 理论洞察： 从信息论角度论证了模型预测分歧（JSD/PDS）是选择信息量最大样本用于性能区分和排名的理论最优信号之一。 2. 方法创新： 提出了一个简单而强大的两阶段流程：a) 基于模型分歧分数（PDS/JSD）贪婪选择样本；b) 利用模型在选定样本上的完整输出签名，通过简单回归模型直接预测整体性能。 3. 实证验证： 在语言和视觉领域的多个标准基准上，Disco以前所未有的程度（>99%成本削减）压缩了评估集，同时保持了极低的预测误差（~1%p MAE）和近乎完美的模型排名一致性（Rank >0.98），性能超越所有现有方法。

五、 研究的亮点与价值

科学价值： * 范式转变： 将高效评估的关注点从“样本多样性”转向“模型响应多样性”，提供了新的理论视角和方法论。 * 简化复杂性： 用贪婪的样本级统计和直接的签名映射，替代了复杂的聚类和隐变量模型，展示了“简单即有效”的设计理念。 * 理论连接实践： 成功地将信息论中的JSD、互信息等概念与实际的模型评估任务紧密结合，并给出了可操作的代理指标（PDS）。

应用价值： * 大幅降低评估门槛： 使计算资源有限的研究者、学生和小型团队能够负担起对大模型的严谨评估。 * 加速研发循环： 在模型训练过程中，可以极低成本频繁评估检查点性能，便于早期调试和超参数优化。 * 便捷的模型监控： 为部署后的模型提供快速、廉价的性能追踪和基准检查手段。 * 促进环保： 显著减少大规模评估带来的巨大能源消耗和碳足迹。

六、 其他有价值的内容

• 局限性讨论： 论文坦率地指出了Disco的局限性。主要在于对模型群体分布偏移（如全新架构、训练目标）的鲁棒性可能下降，需要通过周期性重训练或自适应选择来缓解。此外，Disco目前主要适用于具有固定选项分类任务（如多项选择QA），对于开放式生成任务（如翻译）的应用需要额外设计。
• 失败模式分析： 附录中探讨了当源模型与目标模型性能存在极大差距时的“压力测试”场景。尽管在此极端设置下Disco优势缩小，但论文论证了这种场景在实践中不常见，因为模型开发是渐进且性能分布重叠的，因此不影响其实际效用。
• 与模型校准度的关联： 研究发现，目标模型的校准误差（ECE）与Disco的预测误差存在正相关。校准度越高的模型，其置信度模式与正确性的关联越强，其签名也越具信息性，从而Disco的预测更准确。这为理解方法的行为提供了额外洞见。