边缘计算与深度学习融合全面综述：开启无处不在的边缘智能时代

论文信息 本文由天津大学智能与计算学院的Xiaofei Wang（高级会员，IEEE）和Yiwen Han（学生会员，IEEE）、深圳大学/英属哥伦比亚大学的Victor C. M. Leung（会士，IEEE）、南洋理工大学的Dusit Niyato（会士，IEEE）、华为2012实验室的Xueqiang Yan以及中山大学的Xu Chen（会员，IEEE）共同撰写。该综述性论文于2020年1月30日在线发表于IEEE权威期刊《IEEE Communications Surveys & Tutorials》（第22卷，第2期）。

核心论题与背景 本文探讨的核心论题是边缘计算（Edge Computing） 与深度学习（Deep Learning, DL） 这两大前沿技术的融合，及其催生的两大核心概念：边缘智能（Edge Intelligence） 与智能边缘（Intelligent Edge）。研究动机源于当前计算范式的深刻变革与人工智能（AI）应用普及所面临的瓶颈。

从背景来看，一方面，随着物联网（IoT）和智能设备的爆炸式增长，数据生成源头正从集中的云数据中心向网络边缘的海量分布式设备转移。到2021年，预计每年在网络边缘产生的数据将高达850 ZB，远超数据中心内部流量（20.6 ZB）。另一方面，以深度学习为代表的人工智能技术已在计算机视觉（CV）、自然语言处理（NLP）等领域取得巨大成功，并深刻改变着人们的生活，其发展高度依赖于海量数据和强大算力。

然而，将深度学习服务完全部署于云端（“云智能”）的模式面临严峻挑战：1) 成本与带宽：将海量原始数据传输至云端消耗巨额网络带宽；2) 时延：云端服务无法满足自动驾驶、工业控制等实时性要求极高的应用；3) 可靠性：依赖网络连接的云端服务在连接不稳定或中断时可靠性下降；4) 隐私：包含敏感信息的个人数据上传至云端引发隐私泄露风险。这些瓶颈阻碍了“在任何地方为任何人和组织提供人工智能”愿景的实现。

边缘计算作为一种将计算、存储和网络资源部署在靠近数据源和用户的网络边缘的新型范式，为解决上述问题提供了契机。它将计算任务从云端卸载至边缘节点，具有缓解骨干网压力、提供敏捷服务响应以及作为强大云端备份等优势。因此，将深度学习与边缘计算融合，推动智能向边缘迁移，成为学术界和工业界的共同关注焦点。

本文旨在全面、系统地阐述边缘计算与深度学习融合（即“边缘深度学习”）的完整技术图景，梳理相关使能技术，并探讨两者相互促进的共生关系。文章不仅关注如何利用边缘计算来部署深度学习服务（边缘智能），也关注如何利用深度学习技术来优化和管理边缘计算系统本身（智能边缘），填补了通信、网络与深度学习领域之间交叉研究的空白。

核心观点与详细论述 文章的主体部分围绕其提出的五类关键使能技术展开深入探讨，构建了一个清晰的边缘深度学习技术分类体系（如图3所示）。

观点一：深度学习在边缘的应用场景（DL Applications on Edge） 该部分阐述了将深度学习服务迁移至边缘架构所带来的具体应用优势。文章指出，边缘架构通过将智能服务下沉至靠近用户和数据源的位置，能够显著拓宽深度学习，特别是实时性要求高的应用的落地场景。 * 论据支撑：文章列举了四个典型应用领域并分析了其架构优势。 1. 实时视频分析：传统云分析面临高延迟和高带宽消耗。文章提出了一种“端-边-云”协同的三层架构（如图11所示）。在端侧，设备进行视频捕获、预处理和轻量级分析；在边侧，多个边缘节点协作处理，可通过模型压缩、负载均衡等方式提高性能；在云端，负责整合全局模型和进行复杂深层分析。这种分层处理有效降低了延迟和带宽压力。 2. 自动驾驶与车联网：文章强调边缘计算能为车辆提供低延迟、高带宽的通信和快速响应服务。同时，深度学习技术可用于车辆自身的感知决策，而深度强化学习（Deep Reinforcement Learning, DRL） 等算法可用来优化车联网系统中复杂的资源编排（如计算卸载、缓存）问题。 3. 智能制造：工业环境对响应延迟、风险控制和隐私保护要求极高。边缘计算能够将云端的计算、带宽和存储能力扩展至工厂现场。文章以“DeepIns”系统为例，说明如何通过对深度学习模型进行划分，并将其分别部署在端（传感器）、边（工业网关）和云上，从而在保证检测性能的同时满足流程延迟要求。 4. 智慧家居与城市：对于包含大量隐私数据的家庭环境和地理分布广泛的城市基础设施，边缘计算能提供低成本的、位置感知且延迟敏感的监控与控制。例如，通过分布式边缘计算架构，可以高效支持智慧城市中海量基础设施组件和服务的集成，实现区域性的负载均衡和资源优化。

观点二：边缘的深度学习推理（DL Inference in Edge） 这部分聚焦于如何在资源受限的边缘环境中高效地执行训练好的深度学习模型进行预测（推理），是边缘智能落地的关键技术。核心挑战在于平衡推理精度与执行延迟、能耗等资源开销。 * 论据支撑：文章详细分析了四种主要优化技术路径。 1. 深度学习模型优化：针对边缘节点和终端设备的资源差异，优化方法有所不同。对于资源相对充足的边缘节点，可采用通用的模型压缩技术，如参数剪枝与共享（Parameter Pruning and Sharing）、低秩分解（Low-Rank Factorization）、知识蒸馏（Knowledge Distillation, KD） 等。对于资源极其受限的终端设备，优化可以更精细：从模型输入入手（如动态调整视频分辨率、聚焦目标区域以减少处理数据量），从模型结构入手（如设计轻量级卷积模块、自适应剪枝），从模型选择入手（利用DRL自动选择适合当前资源的最优压缩模型），以及从模型框架入手（开发适配边缘硬件的专用软件库和内存管理方案）。 2. 深度学习模型分割：将单一的大型深度学习模型分割成多个部分，分配到不同的计算节点（如端侧CPU/GPU、多个边缘节点或“端-边-云”架构）上协作执行。关键挑战是智能选择分割点。文章指出一个通用流程包括：分析不同层的计算成本和中间数据大小、预测特定配置下的总成本（时延、能耗）、根据约束条件选择最佳分割方案。分割可以是水平（按层）分割，也可以是针对卷积神经网络的垂直（按特征图）分割。 3. 推理早期退出：在深度学习网络中设置多个侧分支分类器（如图15所示）。对于容易判断的输入样本，可以在经过较浅的网络层后，通过侧分支提前给出推理结果并退出；对于难以判断的样本，则继续使用更深层网络进行计算。这种方式使得终端或边缘设备能够快速处理大部分简单任务，仅将少量复杂任务卸载至云端，从而在降低通信开销和延迟的同时，获得比单纯使用压缩模型更高的精度。 4. 深度学习计算共享：利用用户请求的时空局部性，通过缓存和重用中间计算结果来避免冗余计算。例如，对于连续的视频帧，可以缓存前一帧在卷积神经网络中处理过的中间特征，用于加速当前帧的计算。这需要解决缓存键的相似性查找问题，文章提到了使用自适应局部敏感哈希（Adaptive Locality Sensitive Hashing, A-LSH） 和K近邻（KNN） 等技术来实现高效准确的查找。此外，多个专用模型可以共享一个公共的基础模型主干，以减少总体计算量。

观点三：服务于深度学习的边缘计算（Edge Computing for DL） 这一观点探讨了如何从边缘计算系统本身（硬件、通信模式、软件框架）进行设计和优化，以更好地支持深度学习服务。 * 论据支撑： 1. 面向深度学习的边缘硬件：分析了不同硬件在边缘场景下的适用性。移动CPU/GPU通过专用内核和库（如CMSIS-NN）可支持轻量级推理甚至训练。现场可编程门阵列（FPGA） 在能耗、成本和对高并发任务的处理稳定性方面具有优势，适合部署在边缘节点，但开发门槛较高。专用人工智能（AI）芯片（如NPU、APU、TPU）则在性能与功耗平衡上表现更佳。文章通过表IV比较了不同边缘节点解决方案的优劣。 2. 边缘深度学习的通信与计算模式：文章归纳了四种核心模式（如图16所示）。整体卸载：类似于传统的云卸载，终端将整个任务发送到边缘节点处理。部分卸载：在运行时将深度学习任务（抽象为有向无环图）动态分割，一部分在终端执行，一部分卸载到边缘。垂直协同：典型的“端-边-云”三层协同，根据不同层的计算特性、网络状况和负载，将深度学习模型分割并最优地分配到三层架构中执行。水平协同：在终端设备间或边缘节点间（无需云端参与）通过模型分割和并行执行来共同完成一个资源密集型任务，例如通过“工作窃取”机制平衡负载。 3. 为深度学习定制边缘框架：讨论了如何设计和选用边缘软件框架来高效管理深度学习服务。这包括决定深度学习服务在无线接入网中的部署位置、使用特定工具链来弥合模型开发与部署环境之间的差距、以及利用领域特定语言或覆盖网络来灵活编排和组合地理分布的深度学习服务。 4. 边缘深度学习性能评估：强调了建立标准化测试平台的重要性，用于客观评估不同硬件、软件栈和深度学习库在边缘场景下的综合性能（时延、内存占用、能耗）。现有的评估工作表明，目前没有单一的软件或硬件方案能在所有方面全面胜出，这表明软硬件协同优化仍有很大空间。

观点四：边缘的深度学习训练（DL Training at Edge） 此部分关注如何在分布式、资源受限且注重隐私的边缘环境中训练深度学习模型，而非传统的集中式云端训练。 * 论据支撑： 1. 分布式边缘训练：早期工作探索在边缘节点间进行分布式训练（如随机梯度下降（SGD）），但面临高昂的梯度同步通信开销。解决方案包括深度梯度压缩（Deep Gradient Compression, DGC），即只传输重要的梯度（超过阈值的），对不重要的梯度进行本地累积和动量校正，以在减少通信量的同时保证收敛性。此外，还可以通过交换模型输出（知识）而非模型参数来减少通信量。 2. 联邦学习：文章将联邦学习（Federated Learning, FL） 视为实现边缘训练的核心机制。FL允许多个终端设备或边缘节点在本地数据上训练模型，仅将模型更新（如梯度或参数）加密上传到一个中央服务器进行聚合，形成全局模型。这种方式无需上传原始数据，显著保护了数据隐私，并减轻了网络带宽压力。文章通过表VI总结了多项联邦学习相关研究工作。同时也指出了FL面临的挑战，如设备异构性、通信效率和非独立同分布数据。

观点五：用于优化边缘的深度学习（DL for Optimizing Edge） 此观点阐述了深度学习技术如何反过来赋能边缘计算系统本身，实现智能边缘。其核心思想是利用深度学习的强大学习和推理能力，来处理边缘网络中复杂、动态的环境信息，实现自适应的系统维护与管理。 * 论据支撑：深度学习可应用于边缘计算网络的多个功能优化中。文章举例包括： 1. 边缘缓存：使用深度学习预测内容的流行度，以优化缓存策略，提高内容分发效率。 2. 计算卸载：利用深度强化学习等算法，根据动态变化的网络状态、服务器负载和任务特性，实时做出最优的计算卸载决策（决定任务在端、边、云何处执行）。 3. 网络资源管理：深度学习可以用于流量预测、网络切片资源分配、异常检测等，从而实现更智能、更高效的边缘网络管理与优化。

论文的价值与意义 本综述论文具有重要的学术价值和实践指导意义： 1. 系统性梳理与整合：首次从“边缘智能”和“智能边缘”两个互惠互利的角度，系统性地构建了边缘计算与深度学习融合的技术体系框架，涵盖了从应用场景、推理优化、训练方法到系统支持的完整技术链条。 2. 提供清晰的技术图谱：提出的五类使能技术分类法（如图3、图4所示），为研究人员理解和探索这一交叉领域提供了一个清晰、逻辑严谨的路线图，有助于凝聚共识并指明未来研究方向。 3. 突出交叉与协同：文章强调，仅考虑将深度学习部署到边缘是不完整的，必须同时考虑如何用深度学习优化边缘系统。这种双向融合的视角更具前瞻性和实践性。 4. 总结挑战与趋势：在后续章节（本文摘录未完全包含）中，文章总结了边缘深度学习面临的开放性挑战，如安全性、更细粒度的智能、标准化等，并对未来趋势进行了展望，对推动领域发展具有指导作用。 5. 广泛的参考价值：对于通信、网络、计算机体系结构、人工智能等多个领域的研究人员、工程师和学生而言，本文是一份极具价值的入门指南和参考文献集，有助于快速把握该领域的核心问题、关键技术和发展动态。

这篇发表于《IEEE Communications Surveys & Tutorials》的综述，以其全面的视野、深刻的洞察和清晰的组织，成为了解和推动“边缘深度学习”这一前沿交叉领域发展的必读之作。