关于《代码生成评估的基准与度量：一项批判性回顾》的学术报告

作者、机构与发表信息 本文《Benchmarks and Metrics for Evaluations of Code Generation: A Critical Review》由 Debalina Ghosh Paul, Hong Zhu 和 Ian Bayley 共同撰写，他们均来自英国牛津布鲁克斯大学工程、计算与数学学院。该论文发表于 2024 年 IEEE 人工智能测试国际会议（IEEE International Conference on Artificial Intelligence Testing, AITest）。论文通讯作者为 Hong Zhu，邮箱为 hzhu@brookes.ac.uk。

论文主题与性质 本文是一篇关于大型语言模型（Large Language Models, LLMs）在代码生成任务上评估方法的批判性综述。其核心主题是系统性地回顾和分析当前用于评估代码生成 LLMs 的基准测试集（Benchmarks）和质量度量标准（Metrics），指出其中存在的问题，并探讨未来的研究方向。论文旨在解决一个核心矛盾：尽管已有大量研究致力于评估和比较代码生成 LLMs，但如何公平、有效且能真实反映工具实用性的评估仍然是一个开放性问题，现有评估结论常相互冲突，且难以反映用户的真实体验。

论文主要观点阐述

第一， 论文系统梳理了代码生成 LLMs 的评估生态，明确了评估的两大支柱：基准测试集与质量度量标准。 论文开篇即指出，随着 ChatGPT、Codex、Gemini 等 LLMs 的快速发展，利用机器学习模型辅助编程（尤其是从自然语言描述生成代码）已成为研究热点。然而，如何评估这些模型的性能却充满挑战。作者将现有评估工作归纳为两个关键方面：一是用于测试的“基准测试集”，即包含编程任务及其测试用例或参考答案的数据集；二是用于衡量模型输出质量的“度量标准”。本文的综述正是围绕这两个方面展开的，为读者构建了一个清晰的分析框架。论文首先在引言部分阐述了这一背景和研究动机，随后在第二节概述了 LLMs 在编码任务（主要分为描述到代码 D2C、代码到描述 C2D、代码到代码 C2C 三类）中的应用，并指出本文聚焦于 D2C 类型的代码生成任务。

第二， 论文深入剖析了现有基准测试集的构建方法、结构与特点，揭示了其在数据来源、处理过程和功能设计上的多样性与局限性。 在第三节中，作者详细回顾了诸如 HumanEval、MBPP、APPS、MultiPL-E、ClassEval、CodeEval 等十余个知名基准测试集。其分析涵盖了多个维度： * 数据来源：论文总结了构建基准的九种潜在数据源，包括代码仓库（如 GitHub）、在线论坛（如 Stack Overflow）、编程挑战网站（如 Codeforces）、众包平台、教科书等。表 II 清晰地列出了各基准的数据来源，例如 APPS 源自编程挑战，HumanEval 由领域专家编写，MBPP 采用众包，而 MultiPL-E 则基于已有数据集（HumanEval, MBPP）衍生。 * 数据处理：作者指出了数据提取与处理中的关键步骤与问题。这包括：（1）澄清：手动或自动减少任务描述中的歧义和不完整性，但可能引入编辑者间的不一致。（2）去重：移除重复任务，方法包括人工（如 DS-1000）或基于 TF-IDF 和余弦相似度的自动化方法（如 APPS）。（3）去污染：防止用于训练 LLMs 的数据泄露到测试集中，确保评估的公平性，APPS 基准执行了此步骤。 * 功能与结构：论文通过表 III 和表 IV 对比了各基准在“功能级别”（生成语句、函数、类还是完整程序）和“数据结构组件”（是否包含自然语言描述、上下文代码、测试用例、参考答案）上的差异。例如，HumanEval 评估函数生成，提供函数签名和平均 7.7 个测试用例；而 APPS 评估完整程序生成，提供测试用例和参考答案；ClassEval 则专注于类级别的生成。此外，部分基准（如 APPS、CodeEval、R-Benchmark）还对任务进行了难度分级或附加了元数据（如任务来源、类型），这支持了更具针对性的场景化评估。

第三， 论文全面综述了用于评估代码生成模型的质量属性与度量标准，重点分析了功能正确性度量与语法相似性度量的应用与效度问题。 第四节是论文的核心分析部分，作者将评估度量分为几类： * 功能正确性：这是评估代码生成的核心质量属性。主要度量方式有两种：（1）通过所有测试：模型生成的代码通过基准提供的所有测试用例即视为正确。常用指标是模型在基准数据集上能完全通过测试的任务百分比。（2）测试通过率：计算单个任务上通过测试用例的百分比，然后在基准上取平均值，公式为 AvgTPR。为了应对 LLM 输出的随机性，研究者引入了 Pass@k 指标，即模型针对每个任务生成 k 个候选代码，至少有一个通过所有测试的概率。Chen 等人改进了其估算方法以减少方差。论文表 V 汇总了各基准使用的主要正确性度量及不同模型的评估结果。 * 语法相似性：这类度量继承自机器翻译领域，通过比较生成代码与参考代码的相似度来评分。论文详细阐述了几种常用指标的计算原理与公式： * BLEU：基于 n-gram 共现的精确度，并施加简洁性惩罚。 * ROUGE：侧重于召回率，包括 ROUGE-N（n-gram 重叠）和 ROUGE-L（最长公共子序列）。 * METEOR：综合考虑精确度、召回率，并引入基于 WordNet 的同义词匹配和词序惩罚。 * CHRF：基于字符 n-gram 的 F 值。 * CodeBLEU：专为代码设计的度量，结合了 n-gram 匹配、加权 n-gram 匹配、抽象语法树匹配和数据流匹配。 * RUBY：通过比较程序依赖图、抽象语法树或加权字符串编辑距离来评估相似性。 * 度量标准的效度问题：论文 critically 地指出，尽管语法相似性度量在 NLP 中常用，但其在代码生成评估中的有效性存疑。Kulal 等人和 Hendrycks 等人的研究发现 BLEU 分数与功能正确性关联性弱甚至负相关。Evtikhiev 等人的系统研究表明，即使是为代码定制的 RUBY 和 CodeBLEU，其表现也不优于通用翻译度量，且分数的小幅提升（如小于 2 或 5 分）可能不具备统计显著性。因此，当前主流评估已转向基于测试的功能正确性度量。然而，论文也引用 Ziegler 等人和 Miah & Zhu 的研究指出，对于实际可用性而言，代码“有用”（作为进一步开发的起点）可能比“完全正确”更重要。 * 可用性与生产力：论文简要介绍了除正确性外的其他质量属性研究。Miah 和 Zhu 评估 ChatGPT 的可用性时，考虑了生成代码的可理解性、逻辑清晰度、简洁性、完整性、准确性以及伴随文本的解释性，并采用李克特量表和任务完成时间、尝试次数（#attempts_k）进行度量。Ziegler 等人评估 GitHub Copilot 时，则研究了任务完成时间、产品质量、认知负荷等多个生产力维度，发现用户对建议的接受率是比单纯正确性更好的生产力预测指标。

第四， 论文批判性地指出了当前评估方法存在的关键问题，并明确了未来研究的若干重要方向。 在第五部分“研究方向”中，作者基于前面的综述，提出了多个亟待解决的问题： 1. 基准多样性不足：多数基准源于单一数据源，可能导致任务类型分布偏斜，缺乏多样性。 2. 测试充分性与局限性：依赖测试用例判断正确性虽客观，但其准确性受测试充分性制约。尽管近期基准（如 ClassEval、CodeEval、HumanEval+）声称实现了高分支/语句覆盖率或覆盖了所有边界情况，但预编写的测试用例主要能检测“遗漏错误”，而难以发现“执行错误”（包括恶意代码）。 3. 度量标准与真实使用的脱节：Pass@k 反映了模型输出的随机性，但用户通常不会多次运行模型以获取多个输出，因此该指标不能很好反映可用性。#attempts_k 指标更贴近交互式使用场景，但依赖人工评估，难以大规模应用。语法相似性度量需要调整以更好地衡量“可用性”。 4. 缺乏场景化评估支持：除 R-Benchmark 外，现有基准大多不支持基于元数据（如难度、任务类型、来源）的场景化评估。单一的总体评分无法为模型改进提供具体指导。如何高效、自动化地进行场景化评估是一个挑战，自动为大规模数据集标注元数据是关键。

第五， 论文总结了代码生成 LLMs 评估领域面临的严峻挑战与核心待解难题，具有重要的学术指导价值。 在结论部分，作者强调，尽管近期已有大量努力，但评估代码生成 LLMs 仍然是一个严峻挑战。在基准构建和度量标准定义与实施方面存在许多开放性问题。其中最关键的问题包括：开发能反映模型可用性的性能度量标准、对这些度量标准进行验证、构建通用且易用的基准测试集，以及发展能够自动化评估的技术与工具。

论文的意义与价值 本文的价值在于它并非简单的文献罗列，而是一次系统性的批判性整合与前瞻性分析。首先，它为研究人员和从业者提供了一份关于代码生成评估现状的“地图”和“问题清单”，清晰梳理了现有的工具（基准与度量）及其优缺点。其次，它深刻地指出了当前评估范式与真实世界开发者体验之间的鸿沟，将讨论从单纯的“正确性”引向了更广阔的“可用性”和“生产力”。最后，它明确提出了未来研究的几个关键方向，如开发以用户为中心的度量、构建更全面且支持场景化分析的基准、解决测试的局限性以及推动评估自动化，为后续研究提供了清晰的路线图。因此，这篇综述对于推动代码生成 LLMs 评估走向更科学、更实用、更贴近软件开发实践的方向具有重要的指导意义。