本文档报告了一项关于语音增强模型与自监督学习表征相结合的原始研究。以下是针对该研究的学术报告。

学术研究报告

一、 研究作者、机构与发表信息

本研究的主要作者为Amit Meghanani和Thomas Hain，他们来自英国谢菲尔德大学计算机科学学院的语音与听觉研究组。该研究以预印本形式在arXiv平台上发布，提交日期为2026年1月28日。从文档内容判断，这是一篇准备或已提交至IEEE相关会议或期刊的学术论文。

二、 研究背景与目标

本研究隶属于语音信号处理和自监督学习交叉的科学领域。近年来，基于自监督学习的语音模型（如HuBERT、Wav2Vec 2.0、WavLM）在多种下游任务（如自动语音识别ASR、音素识别PR）上取得了显著成功。然而，这些模型在嘈杂环境下的性能会下降。一个有效的解决方案是引入一个语音增强前端模型来预处理含噪语音。为了使增强模型能广泛适配于不同的下游任务，先前的研究提出了一种任务无关的微调方法，即使用SSL-MSE损失函数：将增强语音和干净语音输入到冻结的自监督学习模型中，提取其内部表征，然后计算两者之间的均方误差。这种方法旨在让增强语音的表征在自监督学习特征空间中与干净语音对齐。

然而，本研究指出并深入探讨了SSL-MSE方法的一个根本性缺陷：均方误差损失函数容易“利用”自监督学习模型中固有的位置嵌入信息。自监督学习模型（如基于Transformer的模型）通常使用位置嵌入来编码序列中元素的顺序信息。当使用MSE直接比较两个序列的表征时，模型可能通过简单地匹配绝对位置（即序列中相同索引位置的向量）来最小化损失，而不是学习基于语音内容的、具有鲁棒性的对齐。这会导致增强模型学习到一种“捷径”，即生成在位置嵌入上与干净语音匹配，但内容信息可能并不准确的语音，从而损害了模型的泛化能力和下游任务性能。这种现象与自监督学习预训练中观察到的“位置坍缩”问题相关。

因此，本研究的目标是：1) 验证在自监督学习表征引导的语音增强微调中，确实存在对位置嵌入的利用问题；2) 提出并评估两种旨在实现位置不变微调的策略，以缓解该问题；3) 通过下游任务（ASR和PR）的性能来评估这些策略的有效性。

三、 详细研究流程与方法

本研究的工作流程主要分为两个核心阶段：语音增强前端模型的微调和下游任务的评估。

第一阶段：语音增强前端模型的微调

1. 研究基础与基线模型：

   • 语音增强模型：采用Facebook Research的Denoiser工具包中的Master64模型。这是一个基于深度卷积网络的时域语音增强模型，具有3350万参数，专为低延迟实时处理设计。该模型在大型合成数据集上进行了预训练。
   • 自监督学习模型：采用冻结的HuBERT-base模型（约9500万参数）作为特征提取器。研究使用其最后一层输出的768维序列向量作为语音表征。
   • 基线方法：SSL-MSE。流程如图1所示：含噪语音经SE模型增强后，与原始干净语音一同输入冻结的HuBERT模型，分别提取表征序列 X’ 和 X，然后按公式(1)计算序列间逐帧的MSE损失。此方法作为比较的基准。

2. 提出的两种位置不变微调策略：

   • 策略一：基于随机零填充的位置扰动。该方法灵感来源于SPIRAL预训练框架，但本研究首次将其应用于微调场景。其核心思想是破坏干净语音参考信号与增强信号之间的绝对位置对齐。具体流程（见算法1）如下：在每次训练迭代中，对干净语音波形 sclean，随机选择一个填充比例 p（在0.02到0.05之间），计算填充长度 lp（确保是SSL模型帧移的整数倍，本研究为320样本，对应20ms）。然后在干净语音波形的前后各填充 lp 个零，得到 spad_clean。将填充后的干净语音和增强语音分别通过HuBERT得到表征序列 X（长度n）和 X’（长度m）。由于X的前后各有 r = lp/320 帧是填充部分引入的，因此需要从X中剔除这两部分，得到与X’长度对齐的 X̂。最后计算 X̂ 与 X' 之间的MSE损失（公式2）。这种方法迫使模型不能依赖绝对的帧索引对齐，而必须关注内容。
   • 策略二：基于语速扰动与Soft-DTW对齐的损失。此为本研究提出的新方法。它引入了一种更自然、连续的时间扭曲来模拟真实的语音时长变化。具体流程（见算法2）如下：在每次训练迭代中，对干净语音波形 sclean，随机采样一个语速因子 α，使用Torchaudio库进行语速扰动，得到时长可能变化的 spert。将扰动后的干净语音和增强语音分别通过HuBERT得到表征序列 X̂（长度n）和 X'（长度m）。由于两个序列长度和时序结构不同，无法直接进行逐帧MSE比较。因此，本研究引入了Soft-DTW（软动态时间规整） 损失函数。Soft-DTW是经典DTW的可微分版本，它使用soft-min操作来寻找两个变长序列之间的最优对齐路径，并计算基于该路径的累积距离。本研究使用的损失函数定义为 L_ssl-softdtw = soft-dtwγ(X', X̂) / (m+n)，其中γ为平滑因子（设为0.1），除以(m+n)用于补偿序列长度的影响。这种方法直接鼓励模型基于语音内容进行对齐，完全摒弃了对绝对位置的依赖。

3. 微调实验设置：

   • 数据集：使用LibriSpeech的train-clean-100子集，并添加来自DEMAND数据集的室内噪声进行数据增强。信噪比随机选自{0， 5， 10， 20} dB。
   • 训练细节：使用Adam优化器，学习率1e-4，有效批次大小为16（通过梯度累积实现）。SE模型（Master64）被微调1个epoch。所有表征在计算损失前进行L2归一化，并应用梯度裁剪（最大范数为1.0）。对比了三种微调目标：基线SSL-MSE、SSL-MSE-Pad（策略一）和SSL-SoftDTW（策略二）。

第二阶段：在下游任务上评估增强前端

1. 评估任务与设置：
   • 任务：自动语音识别和音素识别，遵循SUPERB基准的设置。
   • 数据集：创建了LibriSpeech的train-clean-100、dev-clean和test-clean的噪声增强版本。训练和开发使用室内噪声（已见噪声），测试则分别在纯净、室内噪声（已见）和室外噪声（未见）三种条件下进行。
   • 模型与训练：使用S3PRL工具包。将微调好的SE前端与HuBERT模型结合。对于每个下游任务，使用一个任务特定的头部（ASR使用双层双向LSTM加CTC损失，PR使用线性分类器加CTC损失），该头部与HuBERT的层间加权表征进行联合微调。训练使用噪声增强的train-clean-100，验证使用dev-clean。每个配置重复实验5次，报告词错误率和音素错误率的平均值与标准差。

四、 主要研究结果

1. 自动语音识别结果：表1展示了ASR任务的结果。

   • 第一行（无增强）和第二行（使用未经微调的预训练SE模型）的结果表明，加入SE前端能显著提升噪声条件下的性能，这与之前的研究一致。
   • 比较三种微调方法：在最具挑战性的未见噪声（室外噪声）测试条件下，SSL-SoftDTW方法取得了最低的WER（9.06%），优于基线SSL-MSE（9.19%）和SSL-MSE-Pad（9.11%）。SSL-MSE-Pad相比基线仅有边际提升。
   • 收敛速度分析：图2显示了在未见噪声测试集上WER随训练步数的变化。SSL-SoftDTW的收敛速度显著快于其他两种方法，仅需约60k步即可达到SSL-MSE在200k步达到的性能。SSL-MSE-Pad的收敛速度也快于基线，但其最终性能提升有限。这直观地证明了位置不变微调策略的有效性，尤其是Soft-DTW方法，它能更快地引导模型学习内容对齐。

2. 音素识别结果：表2展示了PR任务的结果。

   • 趋势与ASR类似。在未见噪声条件下，SSL-SoftDTW再次取得了最佳性能（PER 6.70%），明显优于基线SSL-MSE（6.78%）。而SSL-MSE-Pad在PR任务上未能显示出任何优势（6.85% vs 6.78%），其性能甚至略差于基线。
   • 这一差异可能源于PR任务对帧级声学细节更为敏感，而零填充引入的人工不连续性可能干扰了HuBERT特征提取器，对精细的音素分类产生了负面影响。

3. 结果分析与逻辑关系：

   • 实验结果的对比清晰地证明了SSL-MSE损失中存在对位置嵌入的利用问题，因为旨在缓解该问题的两种策略（尤其是SSL-SoftDTW）带来了下游任务性能的提升和更快的收敛。
   • SSL-SoftDTW在ASR和PR任务上的一致优越性表明，结合语速扰动和Soft-DTW对齐是一种更鲁棒、更有效的位置不变微调策略。它通过模拟自然的时序变化并使用可微分的内容对齐损失，迫使SE模型学习生成在语义内容上与干净语音匹配的增强语音，而非仅仅在位置上对齐。
   • SSL-MSE-Pad效果有限且不稳定（在PR任务上无效），说明简单的零填充虽然能破坏绝对位置对齐，但其引入的突变可能并非最优，甚至可能带来副作用。这反衬出SSL-SoftDTW方法的优越性。
   • 这些结果直接支撑了研究的核心结论：在自监督学习表征引导的模型微调中，实施位置不变策略至关重要，且本研究提出的SSL-SoftDTW方法是一个有效的解决方案。

五、 研究结论与价值

本研究得出以下核心结论：当使用基于自监督学习表征的均方误差损失进行模型微调时，确实存在模型通过利用位置嵌入信息而非学习内容来最小化损失的风险。针对这一问题，研究提出并系统评估了两种位置不变微调策略。实验表明，基于语速扰动和Soft-DTW对齐的方法能有效缓解位置依赖问题，不仅在下游语音识别和音素识别任务上取得了更优的性能（尤其在未知噪声环境下），还大幅加快了训练收敛速度。相比之下，基于随机零填充的方法虽有一定效果，但提升有限且不稳定。

本研究的价值体现在： * 科学价值：首次在自监督学习表征引导的语音增强微调场景中，系统性地揭示并验证了“位置嵌入利用”这一普遍性问题，并将其与自监督学习预训练中的“位置坍缩”现象联系起来。提出并验证了有效的解决方案（特别是SSL-SoftDTW），丰富了自监督学习微调方法论。 * 应用价值：所提出的SSL-SoftDTW方法提供了一种高效、任务无关的语音增强前端微调方案。该方法仅需微调相对轻量的SE模型，无需改动庞大的预训练SSL模型或下游任务模型，易于集成到现有的语音处理流水线中，提升系统在真实嘈杂环境下的鲁棒性。 * 启发意义：研究指出，在微调阶段解决位置依赖问题是一种计算成本较低的替代方案，这启发未来工作可以考虑将类似的位置不变策略集成到计算昂贵的自监督学习预训练阶段本身，从而获得更根本的改进。

六、 研究亮点

1. 问题洞察新颖：敏锐地指出了在SSL-MSE微调范式中一个被忽视但至关重要的问题——对位置嵌入的利用，这限制了模型的泛化能力。
2. 方法创新有效：提出了两种针对性的解决方案，特别是将语速扰动与可微分的Soft-DTW损失结合用于语音增强微调，该方法构思巧妙，通过自然的时间扭曲和内容对齐直接解决了位置依赖问题，被证明是高效且鲁棒的。
3. 实验验证充分：研究设计严谨，不仅比较了不同微调方法在ASR和PR多个下游任务上的最终性能，还提供了收敛速度的定量分析，强有力地支撑了其论点。
4. 贡献明确：研究明确了其贡献在于：验证了位置利用问题在微调中的存在；评估了两种缓解策略；证明了SSL-SoftDTW方法在提升性能和收敛速度上的优势。

七、 其他有价值内容

本研究还强调了其方法的通用性意义。虽然研究以语音增强为具体案例，但所揭示的问题（基于MSE的SSL表征微调中的位置依赖）和提出的解决思路（位置不变对齐）可能适用于其他依赖自监督学习表征进行回归或重建任务的研究领域。文末也展望了未来将此类技术应用于自监督学习预训练本身以及其他使用SSL-based损失的非预训练场景，指出了更广阔的研究方向。