本文是一篇综述性学术论文（类型b），发表于 IEEE Journal on Selected Areas in Communications 第43卷第7期（2025年7月），题为“Information Compression in the AI Era: Recent Advances and Future Challenges”。论文由多位国际知名学者合作完成，包括来自加拿大McMaster University的Jun Chen（陈军，通讯作者）、中国长安大学的Yong Fang（方勇）、加拿大多伦多大学的Ashish Khisti、美国斯坦福大学的Ayfer Özgür以及以色列本-古里安大学的Nir Shlezinger。该综述旨在系统梳理机器学习与数据压缩交叉领域的最新理论进展与应用成果，并展望未来研究方向。
论文首先在第二节中回顾了标准量化（quantization）的基本框架，并引出目标导向量化（goal-oriented quantization）或基于任务的量化（task-based quantization）的概念。与传统的、以最小化输入输出失真为目标的量化器设计不同，目标导向量化关注的是从观测信号中恢复出对特定下游任务（如估计、检测）最关键的潜在参数向量s。文章重点讨论了基于模型的（model-based）设计方法，即假设已知观测x与任务s之间的统计关系。在均方误差（MSE）准则和均匀抖动量化器（uniform dithered quantizer）的假设下，作者围绕线性估计任务和二次估计任务分别展开了理论分析。
对于线性估计任务，关键结论体现在定理1中：当使用标量量化器时，最优的模拟合并矩阵（analog combining matrix）并不简单地等于对最小均方误差估计（MMSE estimate）进行量化，而是需要对信号的协方差矩阵进行奇异值分解，进而对弱特征模进行抑制，并通过酉旋转使各量化通道方差均衡，以平衡估计误差与量化噪声。这一结论与采用矢量量化器时的最优策略——直接量化MMSE估计——形成了鲜明对比，揭示了硬件受限条件下标量量化器的非平凡设计原则。对于二次估计任务（如协方差估计、波达方向估计），论文展示了如何利用主惯性分量（principal inertia component, PIC）分析将非线性任务转化为线性形式，从而沿用定理1的框架进行系统优化。这些理论结果为在模拟前端（如模数转换器）中嵌入任务感知能力提供了可操作的指导。
论文第二节进一步介绍了率-失真-感知理论（rate-distortion-perception theory, RDP）。这一理论框架的提出动机在于：传统的率-失真（rate-distortion）仅以客观失真度量（如MSE）为优化目标，但MSE最优的重建图像往往模糊、缺乏真实感。为此，Blau与Michaeli在2019年提出了在码率与失真之外引入感知约束（perception constraint）的率-失真-感知权衡。本文对该理论进行了系统化的信息论表述，将感知约束定义为源分布与重建分布之间的散度（divergence），如二次Wasserstein-2距离。
文章分别讨论了无公共随机性（no common randomness）、无限公共随机性（unlimited common randomness）以及完美感知（perfect realism）三种情况下的可达失真界。一个突出的理论发现是：在MSE失真与二次Wasserstein-2感知度量下，无公共随机性时的最优可达失真可以表达为d(n)(r,0,p)=d(n)®+[(√d(n)®-√p)^+]^2，其中d(n)®为传统率-失真函数。这意味着在速率一定时，感知约束带来的失真代价可以被简洁地量化。更引人注目的是“通用表示”（universal representations）的存在性：最优编码器可以独立于具体的感知约束设计，而解码器则根据感知强度p在MMSE重建与后验采样之间插值。这一性质意味着一个固定的神经编码器可以在不同任务需求下复用，为任务自适应通信（task-adaptive communication）提供了理论基础。此外，文章还指出公共随机性的多少会实质性影响率-失真-感知性能极限，这一观察对联合信源信道编码（JSCC）以及分离架构在感知约束下的适用性提出了值得重新审视的问题。
第三节将视角从单终端的重构问题转向分布式场景下的参数估计问题。考虑经典模型x_1,…,x_n i.i.d.∼p_θ，其中每个样本在传输前被独立编码为k比特消息，中央服务器需从压缩消息中估计未知参数θ。作者综述了近年文献中针对离散分布估计与高斯均值估计等任务的阶最优（order-optimal）理论结果。例如，在离散分布估计中，sup_θ E‖θ̂-θ‖² = c_1d/[n·min(d,2^k)]，与传统集中式估计相比，当k较小时，估计误差会扩大d倍。而在高斯均值估计中，对应误差为c_2d/[n·min(d,k)]，表现为对k的线性而非指数依赖。这些结果的核心在于揭示k比特量化对样本携带的Fisher信息量的损伤机制，从而刻画了通信约束下统计估计的信息论极限。
同一框架也可直接映射到联邦学习（federated learning）中的模型更新传输问题。客户端上传的高维模型更新被视为待压缩的样本，中央服务器则希望从压缩后的消息中估计全局均值模型。论文列举了标量/矢量量化、稀疏化、投影、熵编码、低秩分解等常用压缩技术，并特别指出：精心设计的压缩方案不仅能节省带宽，还能自然增强用户隐私，甚至可以在一定条件下实现或放大差分隐私（differential privacy）保证。
在第三节的应用部分，论文系统综述了利用深度学习实现智能压缩的若干路径。在神经目标导向量化（neural goal-oriented quantization）中，作者区分了三种训练策略：固定均匀标量量化器下用加性噪声模型替代量化操作以支持反向传播；通过可学习的双曲正切和激活函数学习非均匀标量量化映射；以及基于VQ-VAE的矢量量化码书学习。这些方法的共同点是允许端到端地从数据中同时学习预量化编码、量化映射与后处理，克服了纯模型方法在实际统计模型未知或解析不可解时的局限。
在神经图像/视频压缩方面，论文指出Transformer架构在捕捉长程依赖上的优势已使其成为新一代神经编解码器的核心组件，而多模态架构则在极低码率下取得了突破。同时，生成模型的引入使得在低于0.5比特每像素的码率下仍能产生视觉逼真的重建结果。
尤为值得关注的是大语言模型（large language model, LLM）在无损压缩中的应用。作者回顾了Shannon关于英语文本熵率的经典问题，指出LLM中的解码器仅需上文即可条件生成下一符号的概率分布，这与无损压缩中建模P(x_{i+1}|…,x_i)的任务在数学上完全一致。近期工作（如“Language Modeling is Compression”）以LLaMA-7B和Chinchilla 70B配合算术编码，在文本甚至自然图像上取得了超越专用压缩标准的成绩。文章明确指出，只要压缩器与解压器对模型参数达成一致且压缩过程中不改变参数，则模型复杂度不应计入压缩比特率。这一研究方向尚处萌芽，其终极目标是揭示Transformer学习上下文树源（context tree source）等经典信息论模型的内在机理，从而为设计新一代通用压缩算法提供启示。
在第四节中，论文综述了深度学习在联合信源信道编码（JSCC）领域的进展。传统图像/视频通信遵循Shannon分离定理，将源编码、信道编码与调制独立设计；然而在有限码长下，分离设计并非最优。DeepJSCC是首个端到端训练的深度JSCC系统，直接将图像像素映射到星座点，在低信噪比和低带宽场景下显著优于传统JPEG/JPEG2000加信道编码的级联方案，且避免了“悬崖效应”（cliff effect）。后续变体DeepJSCC-f利用信道反馈进一步提升重建质量并降低平均时延；DeepJSCC-l则将分层编码思想融入DNN架构，实现自适应带宽传输；DeepJSCC-p引入StyleGAN等生成模型，在保持客观失真的同时大幅改善主观感知质量。这些工作共同展示了深度JSCC范式在无线图像/视频传输中的潜力。
本文的学术价值体现在多个层面：理论上，它为率-失真-感知、目标导向量化以及压缩估计等交叉方向提供了统一的数学表述与可操作的性能界；方法上，它清晰区别了基于模型与基于数据的压缩设计范式，并指出模型驱动深度学习方法（model-based deep learning）有望整合两者优势；应用上，它揭示了LLM与压缩的深层统一性，并展示了JSCC向智能化、感知化演进的趋势。可以预见，信息压缩正在从单纯的信号保真工具演变为面向智能任务、感知质量与分布式学习的基础使能技术。