本文的主要作者为Shuai Liu、Helin Yang、Mengting Zheng、Liang Xiao、Zehui Xiong和Dusit Niyato。其中，Shuai Liu和Mengting Zheng来自厦门大学信息学院及多媒体可信感知与高效计算重点实验室；Helin Yang和Liang Xiao来自厦门大学信息学院、多媒体可信感知与高效计算重点实验室及人工智能研究院；Zehui Xiong来自新加坡科技设计大学信息系统技术与设计 pillar；Dusit Niyato来自新加坡南洋理工大学计算与数据科学学院。该研究发表于 IEEE Transactions on Wireless Communications 第23卷第11期，2024年11月出版，论文的数字对象标识符（DOI）为10.1109/TWC.2024.3454073。
本研究属于无线通信、移动边缘计算（Mobile Edge Computing, MEC）、语义通信和深度强化学习（Deep Reinforcement Learning, DRL）的交叉领域。随着5G与6G通信技术的发展，人工智能与无线通信的融合成为重要趋势。然而，无线用户数量的快速增长导致频谱资源和计算资源日益紧张。传统通信系统在传输过程中会发送大量无关数据，造成频谱资源浪费和通信效率下降。语义通信技术通过提取数据中的语义信息，仅传输与任务相关的内容，从而显著提升通信效率。与此同时，地面边缘设备受限于环境、用户分布及自身部署条件，难以提供最优的通信服务。无人机（Unmanned Aerial Vehicle, UAV）由于具备良好的灵活性和受地面环境影响较小的特点，被引入移动边缘计算中，用于辅助基站接收和处理用户任务。然而，通信环境容易受到恶意干扰器的干扰攻击，这会降低信干噪比（Signal-to-Interference-plus-Noise Ratio, SINR），进而降低语义相似度和语义速率，最终导致任务完成时间增加。
针对上述问题，本文旨在研究干扰攻击环境下融合语义通信与无人机辅助移动边缘计算的资源管理问题。具体而言，本文的目标是通过联合优化无人机轨迹、用户关联和信道选择，最小化任务完成时间并最大化语义频谱效率（Semantic Spectral Efficiency, SSE），同时满足服务质量约束和资源限制。由于该优化问题具有非凸性且属于NP难问题，传统优化算法难以高效求解，因此本文提出了一种基于深度强化学习的智能资源管理方法。
本文构建了一个干扰攻击下无人机辅助移动边缘计算的语义通信系统。系统包含N个无人机、N个智能动态干扰器和M个地面用户。每个时间槽t内，用户首先利用DeepSC模型对任务进行编码，将原始任务转换为语义任务，然后选择无人机和信道进行任务卸载。无人机在飞行阶段移动至合适位置，在悬停阶段接收用户卸载的语义任务并进行计算，最后将计算结果返回用户。干扰器在每个时间槽内对特定无人机发射干扰功率，影响用户与无人机之间的通信质量。
通信模型方面，本文考虑了视距（Line-of-Sight, LoS）和非视距（Non-Line-of-Sight, NLoS）信道。由于无人机飞行高度较高，用户与无人机之间的通信通常可视为LoS信道，但受建筑物或地形遮挡影响，部分信道为NLoS信道，且NLoS信道包含瑞利衰落（Rayleigh fading）的影响。信道增益的计算公式为：
[ h{t,mn} = \frac{10^{-\frac{(\eta{los}-\eta{nlos})P{t,mn}^{los}+\eta{nlos}}{10}}}{\left(\frac{4d{t,mn}\pi f_c}{c}\right)^2} ]
其中，(\eta{los})和(\eta{nlos})分别为LoS和NLoS连接对应的自由空间路径损耗增益，(d_{t,mn})为用户m与无人机n在时间槽t的距离。当存在干扰时，用户m到无人机n的信干噪比由用户发射功率、信道增益、瑞利衰落系数、干扰功率和噪声功率共同决定。
语义速率方面，本文采用了基于预训练DeepSC模型的语义相似度定义。语义速率(r_{t,mn})由带宽、语义相似度和参数(k)（每个词使用的平均语义符号数）共同决定。语义频谱效率SSE定义为单位带宽内成功传输的语义信息速率，其表达式为：
[ \phi{t,mn} = \frac{r{t,mn}}{b^c{t,mn}} = \frac{\delta{t,mn}\psi^st\varpi{t,mn}}{\psi^w_t} ]
其中(\psi^s_t)为每个句子的平均语义信息量，(\psi^w_t)为每个句子的平均词长。
在时间槽t内，无人机n首先飞行(t{f,n})秒，然后在合适位置悬停(t{h,n}=ts-t{f,n})秒接收任务。无人机n在该时间段内接收的语义任务量为：
[ c^{se}{t,n} = \sum{m=1}^{M} \min(r{t,mn}t{h,n}, \delta_{t,mn}s^d_t) ]
通信延迟为：
[ d^{com}{t,n} = \sum{m=1}^{M} \min\left(t{h,n}, \frac{\delta{t,mn}s^dt}{r{t,mn}}\right) ]
当语义任务传输至无人机并解码后，无人机接收的实际任务量为(c{t,n}=c^{se}{t,n}s^l_t)，计算延迟为：
[ d^{rc}{t,n} = \frac{c{t,n}}{f^u_n} ]
其中(f^u_n)为无人机的计算能力。总任务完成时间为所有无人机的通信延迟与计算延迟之和。
本文将优化问题建模为：
[ \begin{aligned} P1: \max{l,\delta,\rho} & \sum{t} -(\lambda_1 d^{com}_t + \lambda_2 d^{rc}t) \ s.t. & (C1): x{min} \leq lx \leq x{max} \ & (C2): y_{min} \leq ly \leq y{max} \ & (C3): \varpi{th} < \varpi{t,mn} \ & (C4): 1 \leq c \leq C \ & (C5): \sum{n=1}^{N} c{t,n} = c_{t,sum} \end{aligned} ]
其中(\lambda_1)和(\lambda_2)分别为通信时间系数和计算时间系数，用于平衡通信延迟和计算延迟的重要性。约束条件包括无人机飞行范围限制、最小语义相似度阈值、信道数量限制以及任务完整性约束。
由于该优化问题非凸且为NP难问题，同时环境中存在动态干扰攻击，本文将其转化为马尔可夫决策过程（Markov Decision Process, MDP），并设计了T5D算法进行求解。
用户智能体（Agent (u^{us})）：状态空间(s^{us}_t)包括用户位置、无人机位置、干扰器位置以及上一时间槽的信道选择信息。动作空间(a^{us}t)包括用户关联系数(\delta{t,mn})和信道选择(\rho_{t,n})。用户奖励与系统奖励一致，定义为：
[ r^{us}_t = r_t = -(\lambda_1 d^{com}_t + \lambda_2 d^{rc}_t) - \lambda_3 - \lambda_4 - \lambda_5 ]
其中(\lambda_3)为未达到最小语义相似度阈值的惩罚，(\lambda_4)为未接收所有用户任务的惩罚，(\lambda_5)为无人机碰撞惩罚。
无人机智能体（Agent (u^{uav})）：状态空间与用户类似。动作空间为无人机的移动距离(d^{uav}{t,n})和移动方向(\theta^{uav}{t,n})。无人机奖励与系统奖励一致。
干扰器智能体（Agent (u^j)）：干扰器的状态空间包括无人机位置、干扰器位置和信道选择信息。动作空间为干扰器向无人机发射的干扰功率(p^j_{t,nn})。干扰器的优化目标是最小化系统奖励，其奖励定义为系统奖励的负值减去与发射功率成正比的惩罚项(\lambda_6)。
T5D算法结构：由于无人机动作是连续的，而用户和干扰器的动作是离散的，本文采用TD3（Twin Delayed Deep Deterministic Policy Gradient）算法处理无人机的连续动作决策，采用DDQN（Double Deep Q-Network）算法处理用户的离散动作决策，干扰器则采用DQN（Deep Q-Network）算法进行决策。TD3算法通过使用两个Critic网络和策略延迟更新机制，有效减少了Q值过估计问题，提高了算法稳定性。DDQN算法通过双网络结构缓解了Q值过估计误差。
算法流程为：在每个回合的每个时间槽内，用户决策网络根据状态选择用户动作，无人机决策网络根据状态选择无人机动作，干扰器决策网络根据状态选择干扰动作。随后，各动作作用于环境，根据公式（1）至（13）计算相应的奖励，并获得下一状态。将经验元组存储至经验池，随机采样小批量经验更新各网络参数。通过大量训练，系统逐渐学习到最优的无人机轨迹、用户关联和信道选择策略，以抵抗干扰攻击。
仿真环境中包含2个无人机和10个地面用户。每个用户的句子数服从参数为1000的泊松分布，每个句子的平均大小为1200比特。环境中有两个可用信道，带宽分别为4 MHz和2 MHz。用户发射功率固定为0.5 W，干扰器发射功率范围为{14, 16, 18, 20, 22} dBm。每个回合总时间为600秒，(k=4)，(\lambda_1=0.066)，(\lambda_2=0.033)。TD3算法中Actor学习率为0.00001，Critic学习率为0.001，两个隐层各256个神经元，经验池容量为3000，批大小为100。DDQN算法学习率为0.01，三个隐层各128个神经元，记忆池容量为10000，批大小为300。干扰器的DQN算法学习率为0.001，隐层各128个神经元。
本文比较了六种算法的性能：T5D、DPD（DDPG+DQN）、DDQN、T5DF1（半数用户和无人机的资源管理策略固定）、T5DF2（所有用户和无人机的资源管理策略固定）和NT5D（未融合语义通信）。
奖励曲线收敛性：从图4可以看出，T5D算法的累计奖励曲线在收敛后达到最高值，表明其在任务完成时间和SSE方面均优于对比算法。这归因于T5D算法能够同时优化连续动作和离散动作，并通过双网络结构减少过估计问题，提高算法稳定性。
不同语义符号数k的影响：如图5所示，随着k增大，所有算法的任务完成时间均增加，SSE均降低。这是因为根据公式（6），k增大导致语义速率下降。尽管k增大也会提高语义准确度，但其增幅较小，总体导致语义速率下降。T5D算法在除k=2外的大多数情况下均取得最佳任务完成时间和SSE。
不同用户数量的影响：如图6所示，随着用户数量增加，任务完成时间增大，SSE也增大。T5D算法在不同用户数量下均取得最小的任务完成时间和最大的SSE。此外，融合语义通信的方案在所有用户数量情况下均优于未融合语义通信的方案（NT5D），验证了语义通信在无人机辅助移动边缘计算领域的优势。
不同最大干扰功率的影响：如图7所示，随着干扰功率增加，任务完成时间增长，SSE降低。T5D算法在所有干扰功率水平下均取得最短任务完成时间和最高SSE，且曲线波动最小，说明其具有出色的抗干扰稳定性。DPD和DDQN算法因稳定性较差或无法同时优化离散和连续动作，曲线波动明显大于T5D。
参数乘数的影响：如图8所示，当参数乘数为1时，T5D算法取得最优任务完成时间，表明本文所选择的参数是最优的。在不同参数乘数下，T5D算法的任务完成时间均为最低，证明了算法的鲁棒性。
本文提出了一种结合语义通信的深度强化学习方法T5D，用于优化复杂干扰环境下的无人机辅助移动边缘计算策略。该方法通过联合优化无人机轨迹、用户关联和信道选择，在满足最小语义相似度阈值约束下，最小化任务完成时间并最大化SSE。仿真结果表明，T5D算法在收敛速度、任务完成时间和SSE方面均优于对比算法。与基准算法相比，T5D算法的总SSE至少提高了约4.00%；与非语义通信算法相比，任务完成时间降低了约27.18%。这些数据充分证明了T5D算法在干扰环境下提升无人机辅助移动边缘计算策略和语义通信性能的有效性。
本研究的科学价值在于，首次将语义通信与干扰环境下的无人机辅助移动边缘计算相结合，并针对连续动作和离散动作混合的决策问题设计了TD3与DDQN相结合的T5D算法。该算法有效解决了非凸且NP难的资源管理问题，同时考虑了干扰器的智能行为，增强了算法的实用性。应用价值方面，该方法可应用于存在恶意干扰的无人机辅助通信场景，如应急通信、军事通信和偏远地区通信覆盖等，通过智能资源管理提升通信系统的鲁棒性和效率。
本研究的亮点主要体现在以下几个方面：第一，首次将语义通信技术与干扰攻击下的无人机辅助移动边缘计算相结合，填补了该交叉领域的研究空白。第二，设计了T5D混合深度强化学习算法，同时处理连续动作（无人机轨迹）和离散动作（用户关联与信道选择），有效解决了混合动作空间下的联合优化问题。第三，将干扰器建模为独立的智能体，采用DQN算法进行干扰策略优化，使训练过程更加贴近实际对抗场景，提升了算法的对抗鲁棒性。第四，通过引入语义频谱效率作为性能指标，从语义层面评估通信质量，而非仅考虑传统的信道容量或数据速率，为语义通信系统的性能评价提供了新视角。
本文在计算复杂度分析部分，详细给出了T5D算法中TD3和DDQN部分的复杂度表达式。TD3部分每次训练迭代的计算复杂度取决于Actor网络和Critic网络的层数与神经元数量，DDQN部分则与隐层数量和状态维度相关。尽管T5D算法的计算复杂度高于传统算法和仅使用单一类型动作的DRL算法，但作者指出，通过对网络结构进行精简，在保证性能的前提下控制了复杂度。此外，本文在定理部分给出了T5D算法网络收敛需要满足的四个条件：学习率满足特定条件、瞬时奖励有界、策略函数在参数上连续可微、序列独立同分布。该定理为算法的收敛性提供了理论支撑。未来工作方面，作者计划探索多智能体DRL与语义通信在抗干扰无人机辅助移动边缘计算领域的应用，并研究如何降低语义通信技术在数据压缩和处理方面的额外需求，以提高编码效率。