学术研究报告：多通道语音增强的密集频时注意力网络（DeFT-AN）

作者及发表信息
本研究的通讯作者为韩国科学技术院（KAIST）的Jung-Woo Choi，第一作者为Dongheon Lee。论文标题为《DeFT-AN: Dense Frequency-Time Attentive Network for Multichannel Speech Enhancement》，发表于2023年的IEEE期刊，DOI为10.1109/lsp.2023.3244428。

学术背景
多通道语音增强（Multichannel Speech Enhancement）是语音信号处理领域的重要研究方向，旨在从含噪声和混响的多通道语音信号中重建纯净语音。传统方法依赖波束成形（Beamforming）技术，而近年来基于深度学习的方法（如DNN）因性能优势受到广泛关注。然而，现有方法在同时处理空间、频谱和时域信息时仍面临挑战，例如相位重建问题（Phase Reconstruction Issue）和长时依赖建模的复杂性。为此，本研究提出了一种新颖的密集频时注意力网络（DeFT-AN），通过结合密集块（Dense Block）和Transformer架构，实现对多维度信息的协同优化。

研究流程与方法
1. 模型架构设计
- 输入处理：多通道语音信号经短时傅里叶变换（STFT）转换为复数谱张量（Complex Spectrogram Tensor），包含实部（Real）和虚部（Imaginary）分量。
- 核心模块：DeFT-AN由多个密集频时注意力块（DeFT-A Block）堆叠而成，每个块包含三个子模块：
- 密集块（Dense Block）：通过多层2D卷积（3×3核）聚合空间信息，采用密集连接（Dense Connection）保留多尺度特征。
- 频域Transformer（F-Transformer）：基于多头自注意力（MHSA）机制提取频谱特征，并引入改进的前馈网络（FFW）增强非线性建模能力。
- 时域Conformer（T-Conformer）：结合时序扩张卷积（Sequential Dilated Convolutions）和注意力机制，解决传统RNN的并行化难题，同时保持长时依赖建模能力。
- 损失函数：采用相位约束幅度损失（PCM Loss），联合优化频谱幅度和相位信息。

1. 实验设置

   • 数据集：使用空间化的WSJCAM0和DNS Challenge数据集，包含模拟真实场景的混响（RT60范围0.2–1.3秒）和噪声（SNR范围-10–25 dB）条件。
     
   • 参数配置：STFT窗长32 ms（重叠75%），频点数257；模型包含4个DeFT-A块，通道数64，训练100轮次。
     
   • 对比基线：包括DCRN、TPARN、ADCN等最新多通道模型，评估指标为SI-SDR（尺度不变信噪比）、PESQ（语音质量感知评估）和STOI（短时语音可懂度）。
     

2. 消融实验与参数研究

   • 子模块贡献：移除密集块、F-Transformer或T-Conformer分别导致SI-SDR下降4.3 dB、11.9 dB和8.7 dB，验证了多维度协同的必要性。
     
   • 时序模块优化：采用扩张卷积（SDC）的T-Conformer性能优于RNN和GRU，SI-SDR提升0.5–1.1 dB。
     
   • STFT重叠率：重叠率从50%增至75%时，SI-SDR从14.3 dB提升至15.7 dB，但计算量翻倍。
     

主要结果
1. 性能对比
- 在WSJCAM0数据集上，DeFT-AN的SI-SDR（15.7 dB）和PESQ（3.63）显著优于基线模型（如DCRN的9.4 dB和3.31）。
- 在DNS Challenge数据集上，DeFT-AN的SI-SDR（9.9 dB）比TPARN（8.4 dB）提升17.8%，且参数量仅为2.7 M，低于ADCN（9.3 M）。

1. 去混响能力
   在无噪声的混响测试环境中，DeFT-AN的SRMR（语音混响调制能量比）达7.35，优于DCRN（6.76）和DRC-Net（7.20），表明其对未知混响环境的强鲁棒性。
   

结论与价值
1. 科学价值
- 提出首个结合密集块与频时双Transformer的语音增强框架，解决了多维度信息融合的难题。
- 通过SDC模块实现时序建模的并行化，为实时处理提供新思路。

1. 应用价值
   
   • 在会议系统、助听设备等场景中，可显著提升噪声和混响环境下的语音清晰度。
     
   • 轻量化设计（2.7 M参数）适合嵌入式部署。
     

研究亮点
1. 方法创新：首次将Conformer架构引入多通道语音增强，兼顾局部细节与全局时序依赖。
2. 性能突破：在SI-SDR和PESQ指标上刷新当前最优水平，尤其在低SNR（-10 dB）条件下表现稳定。
3. 开源贡献：实验代码与参数配置公开，推动领域复现与改进。

其他发现
- 两阶段DeFT-AN（串联两个模型）的SI-SDR进一步提升至15.8 dB，但计算量增至191.2 GMac/s，需权衡性能与效率。
- 激活函数选择中，GELU（高斯误差线性单元）和PReLU（参数化修正线性单元）分别较ReLU提升频谱和时域建模效果。