关于《Cost-of-Pass：评估语言模型的经济学框架》的学术研究报告
一、 研究作者、机构及发表信息
本项研究由来自斯坦福大学（Stanford University）的研究团队完成。主要作者包括共同第一作者 Mehmet Hamza Erol, Batu El, Mirac Suzgun 以及共同资深作者 Mert Yüksekgönül 和 James Zou。该研究以题为《Cost-of-Pass: An Economic Framework for Evaluating Language Models》的论文形式发表，已被人工智能领域顶级会议“国际学习表征大会”（International Conference on Learning Representations, ICLR）接收，并计划于2026年作为会议论文出版。
二、 研究学术背景
本研究属于人工智能（AI）经济学与语言模型（Language Model, LM）评估的交叉领域。随着以大型语言模型（LLM）为代表的生成式AI在产业中展现出巨大潜力，其大规模经济应用的核心前提在于：AI系统执行任务所产生的经济价值必须超过其运行（推理）成本，并且该成本需低于等效人类劳动力的成本。当前，语言模型的研究前沿集中于提升模型能力与降低推理成本两大目标，但这两者常存在权衡——更强大的模型或更复杂的推理时技术（如思维链、自洽性投票）虽可能提高准确性，却也带来了更高的计算与金钱成本。传统的评估指标（如准确率）仅关注性能，忽略了成本维度，无法完整描绘AI技术进步的经济图景。
为系统性地研究性能与成本之间的权衡，并整体分析语言模型生态系统，本研究借鉴了经济学中一个成熟且基础的理论框架：生产前沿理论。该理论由Farrell（1957）提出，用于衡量生产者在给定技术下将投入转化为产出的效率。Aigner等人（1977）进一步引入了随机前沿生产函数，以处理产出具有随机性的生产过程。研究者认为，语言模型本质上是“随机生产者”：对于给定输入，它们以一定的概率产生期望的正确输出。常见的提升性能的技术（如多次采样、自我精炼）试图通过增加计算成本来提高成功概率，这直接体现了生产理论中的效率权衡。基于此，本研究旨在将经济学中的生产效率理论适配到语言模型评估中，开发一个量化框架，以评估语言模型作为经济生产者的“生产力”，从而为模型选择、部署决策和技术进步的经济影响提供原则性工具。
三、 研究详细工作流程
本研究的工作流程可概括为五个核心步骤：概念定义、数据与模型准备、效率指标计算、前沿追踪与反事实分析，以及推理时技术评估。
第一步：核心概念定义与指标构建 1. 成本通过率（Cost-of-Pass）：针对一个特定问题p和一个语言模型推理流程m，定义其成功概率为 ( r_m(p) )，单次推理尝试的期望成本为 ( c_m(p) )。成本通过率 ( v(m, p) ) 定义为获得一次正确解答的期望货币成本，计算公式为 ( v(m, p) = c_m(p) / r_m(p) )。该指标将性能与成本整合为一个单一、易于经济解释的度量。 2. 前沿成本通过率（Frontier Cost-of-Pass）：对于一个问题p，给定一个可用的模型（及技术）集合M，前沿成本通过率 ( v_p(M) ) 定义为所有可用选项中可实现的最小成本通过率，即 ( vp(M) = \min{m \in M} v(m, p) )。这代表了在现有技术下解决该问题的最低预期成本。 3. 引入人类专家基线：为提供现实参照点，研究估计了雇佣合格人类专家解决每个问题的成本 ( c_{expert}(p) )，并假设专家成功率接近1，因此其成本通过率近似等于其劳动成本。最终的前沿成本通过率定义为模型集合与人类专家基线之间的最小值：( v_p(M \cup M_0) = \min(v_p(M), v(expert, p)) )。这代表了获取正确答案的最佳经济选择（AI或人类）的预期成本。 4. 增益（Gain）：用于量化新模型发布带来的经济进步。当新模型集 ( {M_t} ) 在时间t发布时，其对问题p的增益定义为 ( g_p({Mt}, M{t-1}) = vp(M{t-1}) - vp(M{t-1} \cup {M_t}) )，即新模型使解决该问题的前沿成本降低了多少。
第二步：实验设置与数据收集 1. 模型选择：研究选取了2024年下半年至2025年初发布的10个代表性模型，分为三类： * 轻量级模型（Lightweight Models）：每百万token成本低于1美元，包括 Llama-3.1-8B, GPT-4o mini, Llama-3.3-70B。 * 大型模型（Large Models）：通用大模型，包括 Llama-3.1-405B, Claude Sonnet-3.5, GPT-4o。 * 推理模型（Reasoning Models）：经过特殊推理后训练的模型，包括 OpenAI o1-mini, o1, o3-mini, DeepSeek-R1。 2. 数据集选择：涵盖三大类任务： * 基础定量任务：评估基本数值推理，包括两位数加法（Two-digit Addition）和小学数学应用题（GSM8K）。 * 知识密集型任务：评估事实知识回忆与推理，包括科学知识问答（GPQA-Diamond）和偏见基准测试（BBQ）。 * 复杂定量推理任务：评估复杂数学问题解决，包括数学竞赛题（MATH-500）和美国数学邀请赛（AIME 2024）题目。 3. 评估协议：对每个数据集抽样最多128个问题实例。每个模型在每个问题上独立运行8次，以估计成功概率 ( r_m(p) )。成本 ( c_m(p) ) 根据模型提供商的公开API定价（输入/输出token单价）和每次尝试消耗的token数量计算。人类专家成本则基于所需资质、市场薪酬水平和解决问题平均用时进行估算（详细依据见论文附录）。
第三步：效率估计与数据分析流程 对于给定的问题分布（数据集），研究按以下“配方”操作： 1. 估计成功率：通过多次独立运行，近似每个模型-问题对的 ( r_m(p) )。 2. 估计单次尝试成本：记录每次尝试的平均token消耗量，乘以当前token价格，加上任何额外费用，得到 ( c_m(p) )。 3. 计算成本通过率：对每个模型计算 ( v(m, p) = c_m(p) / r_m(p) )。 4. 确定前沿成本通过率：结合估算的人类专家成本，计算 ( v_p(M \cup M_0) )。 5. 跨基准分析与时间追踪：将 ( vp(M) ) 在问题分布上聚合，得到 ( v{p \sim D}(Mt) )，并追踪其随时间（模型发布）的变化，计算新模型带来的增益 ( g{p \sim D} )。
第四步：反事实分析与推理时技术评估 1. 模型家族必要性分析：为理解不同模型类别对进步的贡献，研究进行了反事实分析。通过从总模型集中移除某一类模型（如所有推理模型），计算剩余模型集合的前沿成本通过率，并与完整集合的前沿进行比较。相对改进百分比 ( g_{p \sim D}(M_g, M_t \setminus Mg) / v{p \sim D}(M_t \setminus M_g) ) 量化了该类模型对维持当前成本效率前沿的“必要性”。 2. 推理时技术影响评估：选取了三种常见的推理时技术——自我精炼（Self-Refinement）、多数投票（Majority Voting, k=3, k=4）和一种预算感知技术Tale-EP。研究评估了在轻量级和大型模型集合上应用这些技术后，其前沿成本通过率相对于原始模型集合的改进（或恶化）百分比，以判断这些技术是否能带来净经济效益。
四、 主要研究结果
结果一：不同模型家族在不同任务上展现出独特的经济优势。 通过计算单个模型结合人类专家基线后的前沿成本通过率（见表1），研究发现： * 基础定量任务（如两位数加法）：轻量级模型成本效益最高。因为所有模型在此类简单任务上准确率都很高，成本最低的模型自然成为最优选择。 * 知识密集型任务（如GPQA-Diamond）：大型模型实现了更低的前沿成本通过率。虽然推理模型准确率可能更高，但其高昂的每token成本抵消了性能优势。 * 复杂定量推理任务（如AIME, MATH）：尽管推理模型（如o1, o3-mini, DeepSeek-R1）单token成本最高，但其带来的巨大性能提升显著降低了获得正确答案的期望总成本，使其成为最经济的选择。 这一结果凸显了仅看准确率或仅看成本都会导致偏颇的结论，而成本通过率指标能有效捕捉不同模型在不同任务上的经济生态位。
结果二：前沿成本通过率随时间呈指数级下降，但趋势因任务而异。 追踪从2024年5月到2025年2月的前沿成本通过率变化（见图2）发现： * 所有任务的前沿成本都在下降，表明语言模型的经济效率在快速提升。 * 复杂定量任务的进步最为显著。对MATH-500和AIME-2024数据拟合指数衰减曲线显示，其前沿成本通过率大约每2.6个月和7.1个月就减半一次。这表明解决复杂数学问题的预期成本在过去一年中以惊人的速度下降。 * 知识型和基础定量任务的成本在早期模型发布后迅速下降，随后进入平台期，表明这些领域可能已接近饱和或需要新的突破。
结果三：反事实分析揭示了不同模型家族对推动前沿的互补性作用。 通过计算移除某类模型后前沿成本通过率的相对恶化程度（见图3），研究发现： * 轻量级模型对降低基础定量任务的前沿成本至关重要。 * 大型模型主要对知识密集型任务（如GPQA）的成本效率前沿有实质性贡献。 * 推理模型是推动复杂定量推理任务前沿进步的核心驱动力，同时对GSM8K和GPQA等任务也有重要贡献。 这表明，不同类型的模型创新在不同任务领域发挥着互补且不可或缺的作用，共同塑造了当前的成本效率前沿。
结果四：常见推理时技术提供的经济收益有限。 评估推理时技术对轻量级和大型模型集合的经济影响发现（见表2）： * 性能导向型技术（自我精炼、多数投票）在大多数任务上未能带来有意义的相对成本降低（增益为0%或很低）。这意味着这些技术带来的准确性提升通常无法抵消其引入的额外计算成本。 * 预算感知型技术（Tale-EP）在一些任务上显示出一定的经济效益（如在GSM8K上降低66.6%），但收益并不均衡。 这一关键发现表明，近期成本效率前沿的推进主要源于模型层面的根本性创新（如新的架构、训练方法），而非在现有模型上叠加昂贵的推理时技巧。
五、 研究结论与价值
本研究提出了一个基于经济学生产前沿理论的、用于评估语言模型的统一框架——“成本通过率”及其衍生的“前沿成本通过率”。该框架将模型的性能（成功概率）与推理成本结合为一个具有直接经济解释的指标：获得一个正确答案的期望货币成本。
科学价值与应用价值： 1. 提供原则性评估工具：为研究人员和从业者提供了一个超越单纯准确率、综合考虑经济效率的模型评估与比较标准。它使得在不同成本、不同性能的模型之间进行理性选择成为可能。 2. 量化技术进步的经济轨迹：通过追踪前沿成本通过率随时间的变化，该框架能够量化AI技术进步带来的实际经济效益（成本降低），为研究投资和政策制定提供数据支持。 3. 揭示技术发展的驱动因素：反事实分析能够辨识推动特定领域进步的关键技术路径（如轻量级模型 vs. 推理模型），有助于指导未来的研发方向。 4. 评估技术部署的经济合理性：通过纳入人类专家基线，该框架可以直接判断在特定任务上使用AI是否比雇佣人力更具经济优势，为商业部署决策提供依据。 5. 批判性审视现有技术：研究结果表明，许多旨在提升性能的推理时技术可能并不经济，这促使社区重新思考“性能提升不惜代价”的范式，转向开发更具成本效益的优化方法。
六、 研究亮点
七、 其他有价值内容
研究在附录中提供了额外的实验结果，包括在真实世界任务基准Tau-Bench上的验证，结果同样支持主要结论。此外，研究还分析了单个模型（而非模型家族）的必要性，发现大多数单一模型的贡献可以被其他模型替代，进一步强调了生态系统多样性的价值。研究也探讨了人类专家基线在不同任务上的“必要性”，发现在GSM8K、GPQA等较难任务上，人类专家仍然是完全必要的（即AI尚未在所有实例上成本低于人类），这指出了AI当前的能力边界。这些补充分析使研究的图景更为完整。