学术研究报告：基于深度学习的语义通信系统在插入-删除-替换信道中的研究

作者及发表信息
本研究的通讯作者为Aykut Koç（IEEE高级会员），与Tuna Ozates共同完成，两人均来自土耳其比尔肯特大学（Bilkent University）电气与电子工程系及UMRAM研究所。研究成果发表于2025年3月的《IEEE Communications Letters》（第29卷第3期），标题为《Semantic Communication over Channels with Insertions, Deletions, and Substitutions》。

学术背景
传统通信系统以可靠传输比特为核心目标，受限于香农信道容量理论。随着5G时代对高数据速率的需求，语义通信（Semantic Communication）成为新兴研究方向，其核心目标从比特传输转向语义信息的高效传递。现有语义通信系统多基于联合信源信道编码（Joint Source-Channel Coding, JSCC）和深度学习（Deep Learning, DL），但主要针对加性高斯白噪声（AWGN）等可微分信道模型，而忽略了二进制输入信道中常见的同步错误（如插入、删除、替换，简称IDS）。这类错误在无线通信、DNA存储等场景中普遍存在，且传统方法依赖标记码（Marker Code）和BCJR算法，复杂度高且未与语义通信结合。本研究旨在填补这一空白，提出首个针对IDS信道的端到端深度学习语义通信架构——DeepJSOC。

研究流程与方法
1. 架构设计
DeepJSOC包含三阶段训练流程：
- 标记检测网络：采用门控循环单元（GRU）检测标记序列，解决同步错误。GRU通过随机生成的二进制向量训练，输入为信道输出的填充序列（长度根据公式8计算），输出为同步校正后的序列。
- 语义编码器-解码器：基于Transformer的连续潜空间编码，将文本句子（如Europarl数据集中的句子）映射为高维向量。词级分词后，通过嵌入层和Transformer编码器生成维度为( \mathbb{R}^{b \times n \times c} )的编码表示( m_e )。
- 二值化与联合优化：采用无查找量化（Lookup-Free Quantization, LFQ）将( m_e )二值化为( m_q \in {-1,1} )，并通过熵损失函数（公式3）优化码本多样性。标记码插入后，信号经IDS信道（公式5）传输，GRU估计器（公式9）纠正错误，最终由Transformer解码器重建文本。

1. 实验设置

   • 数据集：使用Europarl平行语料库，划分66,176句训练集、7,424句验证集和7,296句测试集。
     
   • 基线模型：包括传统编码方案（Huffman/LDPC/Polar+BCJR）、SememESC（语义通信基准）及TSCC（二进制JSCC）。
     
   • 评估指标：BLEU（词匹配精度）和BERT相似度（语义相关性）。
     

2. 创新方法

   • 三阶段训练算法（算法1）：首阶段训练连续空间Transformer，次阶段引入GRU估计器，末阶段联合优化二值化与纠错网络。
     
   • 非可微分操作处理：通过直通估计器（Straight-Through Estimator, STE）保留量化与信道操作的梯度。
     

主要结果
1. 性能对比
- 24比特/词场景：在( p_d \in [0,0.03] )和( p_s=0.02 )下，DeepJSOC的BLEU和BERT相似度均显著优于基线（图2a-2d）。例如，( p_d=0.01 )时，DeepJSOC的BERT相似度达0.85，较SememESC提升8%。
- 36比特/词场景：当( p_s>0.02 )，DeepJSOC在两种指标上全面领先（图2e-2h），尤其在( p_s=0.06 )时，BLEU较传统方法高40%。

1. 消融实验（图3）
   
   • 移除GRU估计器或标记码导致高( p_d )下性能骤降；
     
   • 取消LFQ熵损失使低比特预算时性能下降8%。
     

结论与价值
DeepJSOC首次将深度学习纠错网络与JSCC结合，针对IDS信道实现了语义通信的鲁棒传输。其科学价值在于突破了传统通信对同步错误的处理局限，应用价值体现在低比特预算（如24比特/词）下仍保持高语义保真度，为无线通信和存储系统提供了新范式。

研究亮点
1. 方法创新：首次提出三阶段训练策略，整合GRU、Transformer与LFQ；
2. 性能优势：在IDS信道中显著优于传统编码和现有语义通信系统；
3. 跨领域意义：为二进制信道（如DNA存储）的语义通信奠定基础。

其他价值
研究开源代码（GitHub链接见原文），促进后续研究。未来可扩展至图像语义通信等领域。