本文档属于类型a，即报告了一项原创研究。以下是针对该研究的学术报告：

主要作者及机构

本研究的主要作者包括Qianqian Liu、Haixia Zhang（IEEE高级会员）、Xin Zhang和Dongfeng Yuan（IEEE高级会员）。他们均来自山东大学控制科学与工程学院以及山东省智能通信与感知计算集成重点实验室。该研究发表于2024年10月的《IEEE Transactions on Wireless Communications》期刊第23卷第10期。

学术背景

本研究的主要科学领域为多接入边缘计算（Multi-Access Edge Computing, MEC）系统，特别是针对工业物联网（Industrial Internet of Things, IIoT）环境下的资源分配问题。随着5G、人工智能（AI）和物联网（IoT）技术的发展，工业物联网中的任务通常具有高延迟敏感性和高计算密集性，例如AI驱动的远程设备监控、预测性维护和质量控制。这些任务对服务质量（Quality of Service, QoS）有严格要求，包括延迟和能耗。然而，终端设备（Terminal Devices, TDs）由于计算能力和能源有限，难以独立完成这些任务，因此需要将任务卸载到边缘服务器（Edge Servers, ESs）进行处理。

然而，边缘服务器的资源（计算、存储和通信资源）是有限的，如何在这些限制下满足任务的QoS需求成为了一个重大挑战。现有研究大多关注通信和计算资源的优化，但忽略了任务处理所需的特定服务模型（如机器学习模型和数据库）的缓存问题。服务缓存与短期任务卸载和资源分配密切相关，因此需要将服务缓存、任务卸载、计算和通信资源分配进行联合优化。此外，服务缓存和其他资源分配的决策时间尺度不同，缓存决策通常基于统计信息，时间尺度较大（以天或小时为单位），而计算和通信决策则是瞬时决策（以秒或分钟为单位）。现有研究通常假设这些决策可以同时进行，这在实际中会导致频繁的缓存切换和高通信开销。

为了解决这些问题，本研究提出了一个协作MEC框架，旨在通过联合优化服务缓存、协作卸载以及计算和通信资源分配，最大化长期QoS并降低缓存切换成本。研究的核心挑战在于如何处理服务缓存与其他资源分配之间的时间尺度差异以及边缘服务器之间的协作关系。

研究流程

本研究的主要流程包括以下几个步骤：

1. 问题建模与系统架构设计
   研究首先建立了一个协作MEC网络架构，包括一个云服务器（Cloud Server, CS）、多个边缘服务器（ESs）和多个终端设备（TDs）。每个TD可以通过无线链路连接到一个ES，ES之间以及ES与CS之间通过有线链路通信。ES具有有限的频谱、计算和缓存资源，任务可以根据服务缓存情况在本地、ES或CS上处理。
   研究将时间分为两个尺度：大时间尺度（用于服务缓存决策）和小时间尺度（用于任务卸载和资源分配决策）。每个大时间尺度包含多个小时间尺度。

2. 服务缓存模型
   服务缓存决策在每个大时间尺度开始时进行，定义为每个ES在每个大时间尺度内缓存的服务模型。缓存决策的切换成本定义为从CS下载服务模型的通信延迟成本。

3. 计算模型
   任务的计算模式分为四种情况：本地计算、关联ES计算、协作ES计算和云计算。每种情况的计算延迟和能耗通过公式计算得出。

4. 通信模型
   研究主要关注上行链路传输，定义了ES分配给TD的带宽资源，并通过公式计算传输速率、传输延迟和能耗。

5. QoS模型
   QoS定义为任务处理延迟和能耗相对于阈值的满意度，通过加权公式计算。

6. 问题优化与算法设计
   研究将问题建模为一个混合整数非线性规划（MINLP）问题，并提出了一个基于深度强化学习（Deep Reinforcement Learning, DRL）的双时间尺度算法，称为DGL-DDPG。该算法由两个部分组成：大时间尺度的LSTM-DDPG算法和小时间尺度的改进遗传算法（Improved Genetic Algorithm, Improved-GA）。

   • LSTM-DDPG算法：用于生成大时间尺度的服务缓存决策。该算法利用LSTM网络捕捉服务缓存与任务卸载之间的时间关系，并通过DDPG网络进行决策。
     
   • Improved-GA算法：用于生成小时间尺度的任务卸载、计算和带宽资源分配决策。该算法采用混合编码和交叉变异方案，以处理离散和连续变量。

7. 仿真与性能评估
   研究通过仿真验证了DGL-DDPG算法的收敛性和性能，并与多个基准算法进行了比较。仿真结果表明，DGL-DDPG在平均QoS和缓存切换成本方面优于其他算法。

主要结果

1. 改进GA的收敛性
   在小时间尺度下，改进GA在不同TD数量下均能快速收敛，且在20步内获得最优决策。

2. LSTM-DDPG的收敛性
   在大时间尺度下，LSTM-DDPG在不同ES和TD数量下均表现出良好的收敛性，且不受TD数量的影响。

3. 长期性能
   DGL-DDPG在不同缓存容量和ES数量下的长期性能优于其他算法，特别是在低缓存容量下表现尤为突出。

4. 短期性能
   DGL-DDPG在不同TD数量、带宽资源和计算资源下的短期性能均优于其他算法，表明其能够通过协作和联合资源优化实现更高的资源利用率。

结论

本研究提出了一个协作MEC框架，通过联合优化服务缓存、协作卸载以及计算和通信资源分配，解决了工业物联网环境下的资源分配问题。研究提出的DGL-DDPG算法能够智能地调度多维度资源，并在不同时间尺度下实现最优决策。仿真结果表明，该算法在平均QoS和缓存切换成本方面优于现有算法，具有较高的应用价值。

研究亮点

1. 双时间尺度优化：研究首次将服务缓存与其他资源分配的决策时间尺度差异纳入考虑，提出了一个双时间尺度优化框架。
2. LSTM-DDPG算法：该算法利用LSTM网络捕捉时间关系，并通过DDPG网络进行决策，具有较高的创新性。
3. 改进GA算法：该算法采用混合编码和交叉变异方案，能够有效处理离散和连续变量，提高了算法的性能。

其他有价值的内容

研究还详细分析了不同系统参数（如缓存容量、ES数量、TD数量、带宽资源和计算资源）对算法性能的影响，为实际应用提供了重要参考。