这篇文档属于类型a，即报告了一项原创性研究。以下是该研究的学术报告：
研究主要作者及机构
本研究由Bomin Mao（IEEE高级会员）、Yangbo Liu（IEEE学生会员）、Hongzhi Guo（IEEE会员）、Yijie Xun（IEEE会员）、Jiadai Wang（IEEE会员）、Jiajia Liu（IEEE高级会员）和Nei Kato（IEEE Fellow）共同完成。作者主要来自中国西北工业大学的国家航空航天海洋大数据应用技术工程实验室、长三角研究院以及网络安全学院，部分作者来自日本东北大学信息科学研究科。该研究于2025年1月发表在IEEE Journal on Selected Areas in Communications第43卷第1期。
学术背景
随着6G时代的到来，非地面网络（Non-Terrestrial Networks, NTNs）因其灵活部署、高吞吐量和低成本等优势，成为实现无缝覆盖和无处不在连接的关键技术。NTNs由低地球轨道（Low Earth Orbit, LEO）卫星和无人机（Unmanned Aerial Vehicles, UAVs）组成，可为未来的联网自动驾驶车辆（Connected Automated Vehicles, CAVs）提供内容缓存服务，以满足远程地区的协同观看、交通感知和元宇宙娱乐等需求。然而，NTNs中异构的缓存硬件、通信环境和频繁的网络动态使得内容缓存策略的优化变得极为复杂。具体问题包括：将全部LEO卫星作为缓存节点会导致内容重复和无线干扰，造成存储资源浪费和传输质量下降；如何在复杂环境中通过层内和层间协作缓存提供定制化的服务质量（Quality of Service, QoS）仍是一个开放性问题。因此，本研究旨在提出一种分层内容缓存和异步更新方案，以优化NTNs中的内容缓存策略。
研究流程
研究分为以下几个主要步骤：
1. 问题建模与优化目标
研究首先将缓存LEO卫星选择问题建模为一个加权最小顶点覆盖（Weighted Minimum Vertex Cover, WMVC）问题，目标是优化内容传输的传播延迟。WMVC问题可转化为经典的NP难旅行商问题（Travel Salesman Problem, TSP），传统算法难以在多项式时间内找到最优解。因此，研究提出了一种基于延迟驱动的蚁群优化（Delay-Motivated Ant Colony Optimization, DM-ACO）算法，以快速收敛并选择最优的缓存节点。
其次，研究设计了一种基于多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）的分层缓存和异步更新（Hierarchical Caching and Asynchronous Updating, MADRL-HCAU）策略，用于管理LEO卫星和UAVs的缓存容量，为CAVs提供定制化服务并分散峰值流量。
系统模型与通信模型
研究构建了一个包含空间层、空中层和地面层的系统模型。空间层由LEO卫星和缓存LEO卫星组成，空中层由UAVs组成，地面层由CAVs及其请求的内容组成。通信模型包括UAV与车辆（U2V）传输、卫星与UAV（S2U）传输以及卫星间（ISL）传输。研究详细分析了每种传输方式的路径损耗和传输速率，并考虑了降雨等环境因素对信道的影响。
DM-ACO算法的实现
DM-ACO算法通过模拟蚁群行为，逐步选择缓存LEO卫星，以最小化系统传播延迟。算法初始化了一个完整的图结构，并利用蚂蚁代理遍历图中的顶点，计算每一步的可见性和转移概率。通过不断更新信息素，算法最终选择出一组最优的缓存节点。研究分析了算法的计算复杂度，证明其在多项式时间内可收敛，适用于电池受限的LEO卫星。
MADRL-HCAU策略的设计
MADRL-HCAU策略通过分层缓存决策和异步更新机制，优化了缓存内容的放置和刷新过程。策略分为两层：第一层由UAVs负责缓存决策，第二层由LEO卫星负责缓存决策。策略采用深度Q网络（Deep Q-Network, DQN）来缓解大规模状态空间带来的计算压力，并通过异步更新机制避免了同步更新导致的流量激增。研究详细介绍了状态空间、动作空间和奖励函数的定义，并分析了策略的计算复杂度。
仿真与性能评估
研究通过仿真实验验证了所提算法的性能。仿真环境包括6个轨道，每个轨道包含15颗LEO卫星，每颗卫星覆盖3架UAVs。仿真结果表明，DM-ACO算法在减少包丢失率（Packet Drop Rate, PDR）和内容更新延迟方面优于传统ACO算法和全连接（Fully Connected, FC）策略。MADRL-HCAU策略在缓存命中率（Cache Hit Ratio, CHR）和平均传输延迟方面优于流行的流行度感知（Popularity Aware, PA）策略和传统的后进先出（Last In First Out, LIFO）策略。
主要结果
1. DM-ACO算法在减少PDR和内容更新延迟方面表现出色。仿真结果显示，其PDR低于14.72%，比传统ACO算法和FC策略分别降低了1.68%和5.14%；内容更新延迟低于6.01秒，分别减少了0.11秒和0.29秒。
2. MADRL-HCAU策略的异步更新机制有效降低了PDR和内容更新延迟。仿真结果显示，其PDR低于7.64%，比同步更新机制降低了7.09%；内容更新延迟低于4.13秒，减少了1.87秒。
3. 在缓存命中率和平均传输延迟方面，MADRL-HCAU策略显著优于PA和LIFO策略。其整体CHR达到78.3%，分别高出PA和LIFO策略12.3%和5.9%；平均传输延迟低于7.86秒，分别减少了1.27秒和1.63秒。
结论与价值
本研究提出了一种基于DM-ACO和MADRL-HCAU的分层内容缓存和异步更新方案，有效优化了NTNs中的缓存策略。其科学价值在于通过跨层协作和智能算法解决了复杂环境中的缓存优化问题，应用价值在于为CAVs提供了定制化的QoS服务，并显著降低了传输延迟和网络拥塞。研究还展示了该方案在空间-空中-地面一体化网络（Space-Air-Ground Integrated Networks, SAGINs）中的扩展潜力。
研究亮点
1. 提出了DM-ACO算法，首次将缓存LEO卫星选择问题建模为WMVC问题，并优化了系统传播延迟。
2. 设计了MADRL-HCAU策略，首次联合考虑了分层缓存和异步更新，有效缓解了网络流量和加速了缓存刷新过程。
3. 仿真结果表明，所提方案在PDR、CHR和传输延迟方面均优于现有方法，展示了其在实际应用中的巨大潜力。