本文发表于第43届国际机器学习会议（Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026），第一作者为 Subham Sekhar Sahoo 和 Zhihan Yang（共同一作），其他主要作者包括 Yash Akhauri、Johnna Liu、Deepansha Singh、Zhoujun Cheng、Zhengzhong Liu、Eric Xing、John Thickstun 和 Arash Vahdat。研究机构涉及 Cornell Tech、Cornell University、MBZUAI 和 NVIDIA。
语言建模领域正在经历范式转变。自回归（Autoregressive, AR）语言模型长期以来被视为黄金标准，但近年来扩散语言模型（Diffusion Language Models）凭借其并行生成能力与可控性优势，逐渐成为有竞争力的替代方案。在扩散语言模型家族中，掩码扩散模型（Masked Diffusion Models, MDMs）目前表现最佳，然而仍存在两方面关键局限：其一，推理速度问题——尽管支持并行生成，但由于缺乏 KV 缓存（KV caching）机制，MDMs 在实践中的推理速度显著慢于 AR 模型；其二，生成质量问题——在复杂语言建模任务上，MDMs 的困惑度（Perplexity, PPL）与 AR 模型之间仍存在显著差距。
近期提出的块扩散模型（Block Discrete Diffusion Models, BD3-LMs）通过引入半自回归生成策略部分解决了速度问题，该模型将文本划分为固定长度的块，在块内执行扩散、跨块按顺序生成，从而部分支持 KV 缓存。然而 BD3-LMs 存在三个关键缺陷：在低采样步数时样本质量严重退化，甚至在低函数评估次数（Number of Function Evaluations, NFE）时劣于其他扩散模型；KV 缓存不完整（跨块可缓存，但块内扩散仍缺乏 KV 支持）；以及由此产生的速度提升有限。
针对上述挑战，本文提出了一种融合 AR 与 MDM 范式的新型语言模型框架——深奥语言模型（Esoteric Language Models, ESO-LMs），其命名灵感来源于探索编程语言设计边界的深奥编程语言（Esoteric Programming Languages）。核心研究目标是：设计一个既能保留扩散模型的并行生成能力，又能实现精确 KV 缓存，同时可平滑插值 AR 与扩散范式在困惑度与生成质量之间差距的模型。
ESO-LMs 的生成过程分解为两个阶段：首先由 MDM 组件并行生成部分掩码的序列 z0，然后由 AR 组件按从左到右的顺序逐个填补剩余掩码 Token。这一混合过程的边缘数据分布由公式 pθ(x) = ∑z0 par θ(x ∣ z0) pmdm θ(z0) 定义。训练时采用变分推断框架，通过简单的掩码后验分布 q(z0∣x) 获得负证据下界（NELBO）。该训练目标由两项组成：AR 损失项和 MDM 损失项，共享同一个去噪 Transformer 模型 xθ。关键参数 α0 控制期望由 MDM 生成的 Token 比例。当 α0 = 1 时，模型退化为纯 MDM；当 α0 = 0 时，模型退化为纯 AR 模型；介于两者之间时，实现两个范式的平滑过渡。
这是本文的核心技术创新之一。AR 模型要求因果注意力（Causal Attention）和移位预测，而 MDM 依赖双向注意力（Bidirectional Attention）；两者存在架构上的不匹配。ESO-LMs 通过统一的注意力偏置矩阵 a ∈ {−∞, 0}^(l′×l′) 来协调这一差异，其中 0 表示允许注意力流动，−∞ 表示阻断。训练时，批次的一半（κ = 0.5）用于扩散损失，另一半用于 AR 损失。
在扩散训练阶段，对掩码序列 zt 进行随机排列（Shuffle），使得干净 Token 排在掩码 Token 之前，并以标准从左到右的因果注意力替换双向注意力。这一设计确保：(a) 干净 Token 以随机顺序生成；(b) 前向传播仅需覆盖干净 Token 和当前待去噪的掩码 Token；© 已预测 Token 不依赖于未来将被去噪的 Token——这是实现 KV 缓存的关键前提。
在顺序训练阶段，针对 z0 中许多掩码 Token 左侧缺乏干净上下文的问题，采用了拼接序列 z0 ⊕ x 输入 Transformer，并设计专门的稀疏注意力掩码，使掩码 Token 可关注其左侧的干净 Token 及其对应的干净版本。通过采样一个满足“干净 Token 在前、掩码 Token 保持自然顺序”的排列 σ，构造结构化稀疏注意力偏置。当按 σ 排序后，该偏置矩阵展现经典模式，可通过 FlexAttention 高效实现。
训练采用线性噪声调度 αt = α0(1−t)。实验设置中，在 LM1B 数据集（长度 128，100 万步）和 OpenWebText 数据集（OWT，长度 1024，25 万步）上训练，批大小 512，使用 H200 GPU。模型训练中当 α0 = 1 时，将扩散系数 α′t/(1−αt) 替换为 −1，经验上降低了训练方差、加速收敛。
采样过程分为统一的去噪调度（Denoising Schedule）：MDM 阶段根据祖先采样器（Ancestral Sampler）递归预计算去噪顺序 smdm，AR 阶段生成掩码 Token 的升序排列 sar，两者拼接为总调度 s。在 KV 缓存方面，第 1 步前向传播覆盖初始掩码 Token 集 s1（不缓存），第 2 步处理干净 Token s1 加上掩码 Token s2 并缓存 s1 的 KV 值，第 k 步（k > 2）仅处理 sk−1 的干净 Token 和 sk 的掩码 Token，同时复用之前已缓存的 KV。这一设计显著减少了冗余计算，尤其对长序列效率提升显著。
本文推导了 MDM 的首个渐近精确似然公式。利用任意顺序自回归（Any-Order Autoregressive, AO）公式，单次前向传播即可估计 NELBO（重要性加权下界 L^kAO），且随 k 增大单调递减并收敛至真实负对数似然。这一性质使得 ESO-LMs 特别适合基于强化学习的微调，可直接用于策略梯度方法（如 GRPO）的似然估计。
在 LM1B 数据集上，AR 基线模型（含 AdaLN）的精确困惑度为 21.86，MDLM 的 NELBO 困惑度为 31.78，BD3-LM（l′=4）为 28.23。ESO-LMs 随着 α0 从 1 降至 0，精确困惑度从 31.65 平滑过渡至 21.86，NELBO 困惑度从 36.12 降至与 AR 模型持平。在 OWT 数据集上呈现相同趋势。值得注意的是，α0 = 1（纯扩散模式）时 ESO-LM 的困惑度劣于 MDLM 约 4 点，原因是因果注意力替代双向注意力导致的表达能力损失。消融实验证实，仅对干净 Token 施加因果注意力（ESO-LM (a)）可恢复 MDLM 的困惑度，但无法支持 KV 缓存。
在 OWT 测试序列上，100 次试验结果表明：LMDM 估计器的均值为 3.25、标准差 0.56；LAO 估计器均值为 3.28、标准差仅 0.03。单次蒙特卡洛采样即可获得更低方差的估计，验证了 AO 公式在统计效率上的优势。
在无条件生成长度 1024 的音频任务中，通过变化 α0、扩散时间离散化步数、块大小等参数，ESO-LMs 在所有方法的帕累托前沿上取得新的最优结果。关键发现是：BD3-LMs 在低 NFE 时出现严重退化（生成困惑度恶化、样本熵下降），而 ESO-LMs 在低 NFE 区域仍保持与 MDLM 相当的质量，在高 NFE 区域接近 AR 模型。进一步提出的块采样器（Block Sampler）只对远距离 Token 并行解码，显著改善了低 NFE 下的生成质量。
在上下文长度 2048 和 8192 且批大小为 1 的设定下：与缺乏 KV 缓存的 MDLM 相比，ESO-LMs 实现了约 14 倍（l=2048）和 65 倍（l=8192）的加速；与部分支持 KV 缓存的 BD3-LMs 相比，实现了约 3.2 至 3.8 倍的加速。在微调至 10240 上下文长度后，ESO-LMs 在保持相似样本质量的同时实现了 5 倍加速。这些加速来源于 KV 缓存和限制前向传播范围的调度器。
本研究提出了 ESO-LMs——一个融合 AR 与掩码扩散范式的新型语言模型框架。其科学贡献包括：（1）首次为 MDM 推导出渐近精确的似然公式，并通过单次前向传播实现可计算的 NELBO 估计；（2）首次在保留全序列并行生成的同时实现精确 KV 缓存，打破此前 MDM 在此方面的技术限制；（3）通过统一注意力偏置机制，使单个 Transformer 同时支持 AR 与 MDM 两种生成模式；（4）在速度-质量帕累托前沿上建立了新的最先进水平。
在应用价值方面，ESO-LMs 的长上下文推理加速（14−65 倍）使其有望应用于对延迟敏感的实时对话系统。此外，该框架对离散结构生成任务（如分子生成、语音合成、图生成）具有潜在的可扩展性。论文提到的局限性包括：训练速度约为 MDLM 的 1.37 倍（由于序列长度加倍）、α0 = 1 时困惑度劣于 MDLM 以及 KV 复用滞后一步导致相同 NFE 下略慢于 AR 模型。然而，这些不足被其在推理效率上的巨大优势所抵消。其提出的单次前向似然估计器已被后续工作（Wang et al., 2025b）在 0.1B 和 8B 规模的强化学习微调中采用，体现了该方法的实际影响力。