本文的研究由浙江大学(Zhejiang University)、蚂蚁集团(Ant Group)、上海交通大学(Shanghai Jiao Tong University)、中国社会科学院大学(University of Chinese Academy of Social Sciences)以及西湖大学(Westlake University)的多位学者联合完成。主要作者包括 Yangyang Zhong、Yanmei Gu、Zhengqing Zang、Xiaomeng Li 等,通讯作者为 Yunfeng Yan 与 Junbo Zhao。该论文发表于《findings of the association for computational linguistics: acl 2026》第 7178–7218 页,属于计算语言学与自然语言处理领域的顶级学术会议。
近年来,自回归语言模型(Autoregressive Language Models, AR LMs)凭借其基于似然的训练目标和可靠的从左到右解码方式,主导了现代自然语言处理领域。然而,自回归解码的严格串行特性带来了两个根本性限制:一是推理延迟高、生成吞吐量受限;二是在需要全局约束或非单调规划的任务中,固定的时间顺序未必构成最自然的求解路径。
遮蔽扩散语言模型(Masked Diffusion Language Models, MDLMs)作为离散扩散模型的重要分支,通过在遮蔽序列上迭代去噪实现文本生成,理论上能够在单步内并行预测多个 token,并支持更灵活的非单调生成顺序。近年来,以 LLaDA 2.0、Trado、DiRL、SDAR 和 OpenPangu-Diffusion 为代表的高性能 MDLMs 通常从强自回归模型的架构与权重初始化,再通过修改解码机制迁移至扩散范式,取得了具有竞争力的结果。
然而,当前尚不清楚 MDLMs 在推理过程中是否真正发挥了其非单调的潜在能力,以及它们如何在并行性与生成质量之间进行权衡。既有研究主要聚焦于推理策略或参数调优,缺乏对模型解码轨迹和动态行为的系统刻画。此外,速度评估常依赖硬件相关的吞吐量指标,难以进行公平的跨模型比较。本文正是针对上述空白,将并行性(parallelism)与生成顺序(generation order)作为 MDLMs 的两个定义性自由度,开展大规模“现实核查”与机制级分析。
本研究的工作流程可分为四个主要环节:大规模基准评测、解码动力学指标构建、非单调潜力挖掘、理论分析与编辑范式验证。
研究团队在一个包含 512 块 NVIDIA GPU 的分布式集群上,统一部署了 8 个代表性的最先进 MDLMs(包括 LLaDA、Trado、SDAR、LLaDA2-Flash 100B 等)以及前沿自回归模型(如 OpenAI o3、Gemini-2.5 Pro)作为基线。所有模型均在统一的推理流水线下运行,使用各自官方仓库的原始实现和最佳默认配置。为控制混淆变量,评估采用统一的提示模板和严格的答案匹配逻辑。
评测覆盖了 58 个基准,分为六大能力维度:知识(如 MMLU)、数学(如 GSM8K、MATH)、推理(如 BBH、GPQA)、语言理解(如 HellaSwag)、智能体能力(如 BFCL)和编程(如 HumanEval)。所有结果均由本地运行获得,每个实例仅推理一次,报告各基准的平均准确率。
为量化分析 MDLMs 如何解码 token,研究者引入了两个关键指标。第一个是平均完成并行度(Average Finalization Parallelism, AFP)。对于一个长度为 ( n ) 的生成序列,令 ( ci ) 表示 token ( i ) 被最终确定的解码步,则有效解码步数 ( T{\text{eff}} ) 为至少确定一个 token 的不同步数。AFP 定义为 ( \text{AFP} = n / T_{\text{eff}} )。自回归解码的 AFP 约为 1,而完全并行解码的 AFP 等于 ( n )。第二个指标是 Kendall’s τ,一种秩相关系数,用于衡量 token 最终确定顺序与表面顺序之间的一致性。自回归解码时 τ 恒为 1(严格单调),而 τ 小于 1 表示存在非单调生成顺序,即后续位置的 token 可能先于其前驱被确定。
在分析策略上,研究者分别考察了块内(intra-block)分布与块间(inter-block)演化。特别地,由于出现重复现象的样本在行为模式上存在显著差异,这些样本被单独分析。对于块间分析,为减轻长度偏差,样本按总块数进行分组。
在微观语义层面,研究者利用 Stanza 工具对模型输出进行词性标注(POS tagging),计算不同词性类别的平均解码步数。在数独变体基准实验中,研究者放大了 MDLMs 在并行和非单调求解方面的优势。此外,在理论层面,研究者基于条件全相关(Conditional Total Correlation, CTC)框架,证明了并行因子分解导致的 KL 散度下界。
研究者为“生成-再编辑”(generate-then-edit)范式提供了理论证明,表明该范式不仅能有效恢复精度损失,还能重新定义并行生成的边界。初步实验在 LLaDA2-mini-16B 上进行了编辑能力的适配验证,详细结果列于附录。
六大能力维度的聚合评估(图 1)显示,当前 MDLMs 与其自回归对应模型之间持续存在性能差距。在相同参数尺度的对比分析(图 2)中,接近自回归性能的 MDLMs 通常采用受限的块大小。例如,OpenPangu-7B-Diffusion 为达到峰值精度,使用块大小为 4 且每步仅解码置信度最高的 token。这些结果表明,在当代架构中,过度的解码并行性是损害预测精度的主要瓶颈。
自回归模型严格遵循概率链式法则,而 MDLMs 以块大小 ( B ) 将 token 块的联合分布近似为独立边缘分布的乘积。即使每个位置的最优边缘分布已被学到,因子化形式与真实数据分布之间的 KL 散度也由条件全相关下界所限制。这一理论框架解释了经验观测现象:随着并行粒度 ( B ) 增大,token 间依赖复杂性增长,CTC 诱导的误差界单调上升。因此,性能差距不仅是模型容量不足的后果,更是表示高依赖结构时的固有架构局限。这也解释了为何最先进方法常采用高度保守的块大小——它们实质上牺牲了架构优势以规避精度上限。
在非重复样本中,逻辑密集型任务(数学、推理、代码)的 Kendall’s τ 大于 0.8,严格遵循从左到右的因果链;而智能体和自然语言理解任务呈现较低 τ,倾向于全局语义聚合而非线性推导。AFP 方面,代码和智能体域的高 AFP 表明 MDLMs 有效捕捉了结构并行性。关键的是,正确样本始终比错误样本表现出更高的 AFP,说明高置信度并行解码与事实正确性一致。重复输出则表现出极端失衡:超高的 AFP(正常值的 5–7 倍)伴随接近零的 τ,反映了熵坍缩状态下的激进并行填充。
块间演化方面,推理任务始终保持高线性 τ;编程任务呈现“拱形”轨迹;所有领域的最后一块 τ 普遍下降,揭示了“生成 EOS 再回填”的策略。在知识和数学领域,正确样本的 AFP 随推理推进稳步攀升,而错误样本则停滞不前。
高频并行解码组合的分析(图 5)表明,并行生成的 token 序列高度公式化,语义信息增量极小,主要由换行符、标点、JSON 分隔符、Markdown/数学符号和高频过渡标记构成。这与此前的理论框架一致:高度模板化的 token 序列呈现近零的条件全相关,预测信号几乎完全来自全局上下文而非块内局部交互。
词性标注分析揭示了清晰的层级模式:模型首先构建“结构骨架”,随后填充“细粒度细节”。这一非线性生成逻辑表明 MDLMs 并非简单地从左到右构建文本,而是先部署由全局确定性识别的结构锚点,再逐步细化复杂修饰成分。
尽管全局顺序性较高,研究者在语义转换点(如从思维链推理转向最终答案)或结构边界(如段落分隔或代码与注释的转换)观察到 Kendall’s τ 的局部“骤降”。在这些节点上,模型短暂偏离严格的从左到右轨迹,表明 MDLMs 将转换标记视为结构锚点,以非顺序或并行方式生成,以“预规划”后续思维块的布局。
通过数独变体基准实验,研究者证实 MDLMs 在并行和非单调求解方面展现出与自回归模型定性不同的求解路径。模型自发习得“先易后难”策略:首先填充高确定性的“锚点”,再利用双向注意力解决全局不确定性。这表明 MDLMs 具备显著的任意顺序概率建模潜力。
本研究首次对最先进的遮蔽扩散语言模型进行了系统性和大规模评估。通过 58 个任务基准和 100B 参数 LLaDA 模型的深度机制分析,揭示了支配并行与任意顺序生成的基本解码动力学。研究结论指出,当前并行因子分解的局限性是固有的架构瓶颈,但 MDLMs 在非线性因果建模和高效迭代编辑方面具有巨大潜力。
本研究的科学价值在于:提出了 AFP 与 Kendall’s τ 这一对可解释、硬件无关的指标,实现了并行性与非单调性的解耦分析;从理论上阐明了 CTC 下界对并行解码精度的根本限制。应用价值方面,研究为“生成-再编辑”范式提供了理论支撑,预示着 MDLMs 从单纯采样器向自演化推理系统的转变,为下一代既逻辑灵活又计算高效的非自回归语言模型提供了基础蓝图。
本研究的亮点体现在以下方面:第一,提出解耦的评估指标 AFP 与 Kendall’s τ,避免了将生成顺序与并行强度混为一谈的方法论缺陷;第二,发现了正确预测具有更高并行性的“规模红利”现象,提示模型能力增强可以自然加速推理;第三,通过数独变体基准揭示了 MDLMs 在非单调求解中的独特优势;第四,理论上证明了“生成-再编辑”范式可缓解并行因子分解导致的依赖损失,同时保留并行解码效率。
值得注意的是,研究也坦承评估分数不应被视为排行榜等效值,因为提示、解码约束和答案匹配方式的不同可能导致绝对分数的差异。这一透明的局限性声明进一步增强了研究结果的可信度与可解释性。