语音语言模型（SpeechLMs）研究进展综述

作者及机构
本综述由Wenqian Cui（香港中文大学）、Dianzhi Yu（香港中文大学）、Xiaoqi Jiao（腾讯光速工作室）、Ziqiao Meng（新加坡国立大学）、Guangyan Zhang（腾讯光速工作室）、Qichao Wang（腾讯）、Yiwen Guo（独立研究员）及IEEE会士Irwin King（香港中文大学）合作完成，发表于2021年8月的《Journal of LaTeX Class Files》。

研究背景与目标
大型语言模型（LLMs）在文本交互中展现了卓越能力，但人类自然交流主要依赖语音。传统方法采用“自动语音识别（ASR）+ LLM + 文本转语音（TTS）”的流水线，但存在模态转换信息丢失、高延迟和错误累积三大缺陷。为此，语音语言模型（SpeechLMs）应运而生——这是一种端到端模型，可直接生成语音而无需文本转换。本文首次系统梳理了SpeechLMs的构建方法、架构组件、训练策略、评估指标及未来挑战，旨在推动这一新兴领域的发展。

核心内容与主要观点

1. SpeechLMs的架构设计
   SpeechLMs由三个核心组件构成：

   • 语音分词器（Speech Tokenizer）：将连续语音波形编码为离散或连续的语义/声学特征。根据目标分为三类：
     
     • 语义理解型（如HuBERT）：提取语音的语义信息（如ASR任务）。
       
     • 声学生成型（如EnCodec）：保留音高、音色等声学特征，用于高质量语音合成。
       
     • 混合目标型（如SpeechTokenizer）：同时建模语义和声学信息。
       
   • 语言模型（Language Model）：基于Transformer架构（如LLaMA、OPT），通过自回归预测语音或文本令牌。
     
   • 语音合成器（Vocoder）：将模型输出的令牌还原为语音波形（如HiFi-GAN）。
     

2. 训练策略

   • 特征建模：
     
     • 离散特征（如HuBERT令牌）：语义信息强，但缺乏声学细节。
       
     • 连续特征（如梅尔频谱）：保留声学细节，但需调整传统语言模型架构。
       
   • 训练阶段：
     
     • 预训练：采用冷启动（随机初始化）或继续训练（基于文本LLMs微调）。
       
     • 指令微调：构建跨模态指令数据集（如SpeechInstruct），使模型遵循语音/文本指令。
       
     • 后对齐：通过强化学习（如RLHF）优化生成语音的安全性和一致性。
       

3. 应用场景
   SpeechLMs的能力远超传统语音系统，涵盖三大类任务：

   • 语义相关应用：语音对话、语音翻译（ST）、语音识别（ASR）、意图分类等。
     
   • 说话人相关应用：说话人识别、声纹验证、语音克隆（Voice Cloning）。
     
   • 副语言应用：情感识别、语音分离、情感增强语音生成（如生成“快乐的语音”）。
     

4. 评估方法

   • 自动评估：
     
     • 表征评估：通过ABX测试或语音重合成错误率（WER）衡量语义保留能力。
       
     • 语言学评估：使用SWUGGY（词汇）、SBLIMP（语法）等基准测试模型的语言理解能力。
       
     • 副语言评估：如STSP基准测试情感保留的准确性。
       
   • 人工评估：采用平均意见得分（MOS）评价生成语音的自然度和表现力。
     

5. 挑战与未来方向

   • 模态对齐：如何平衡文本的语义优势与语音的副语言信息。
     
   • 实时交互：需支持全双工通信（如打断响应）和交互周期识别（IPR）。
     
   • 数据稀缺：低资源语言的语音-文本对齐数据不足。
     
   • 安全性：防范语音生成的滥用（如深度伪造音频）。
     

学术价值与亮点
1. 首篇系统性综述：首次全面梳理SpeechLMs的方法论、应用及评估体系。
2. 创新分类法：提出基于架构组件和训练策略的Taxonomy（图4），为后续研究提供框架。
3. 跨模态潜力：强调SpeechLMs在融合语音与文本模态上的独特优势（如情感交互）。
4. 开源资源：附GitHub项目（awesome-speechlm-survey），汇总相关论文与工具。

意义
本文不仅为研究者提供了技术路线图，还指出了SpeechLMs在个性化助手、情感计算、低资源语言交流等领域的应用潜力，推动了人机交互向更自然、高效的方向发展。