低轨巨型星座网络星载分布式大数据处理仿真平台设计学术报告

作者及发表信息
本文由Zhang Zhikai（哈尔滨工业大学（深圳））、Gu Shushi（哈尔滨工业大学（深圳）/鹏城实验室）、Zhang Qinyu（哈尔滨工业大学（深圳）/鹏城实验室）及Xue Jiayin（鹏城实验室）合作完成，发表于2024年7月的《China Communications》期刊（卷21，期7，页码334-345），DOI号为10.23919/jcc.ja.2022-0617。

学术背景
本研究属于卫星通信与分布式计算交叉领域，聚焦低轨巨型星座网络（Low Earth Orbit Mega-Constellation Networks, LEMCNs）中的星载分布式处理（Onboard Distributed Processing, OBDP）挑战。传统地面数据中心网络（Ground Data Center Networks, GDCNs）依赖稳定的低延迟链路，而LEMCNs因卫星高速运动导致动态拓扑与长距离链路，难以直接评估大数据应用（Big Data Applications, BDAs）性能。现有卫星网络仿真工具缺乏对实际应用性能的模拟能力，因此作者提出多维仿真平台，集成星座模拟、网络构建与应用测试功能，填补了LEMCNs中OBDP性能评估的技术空白。

研究流程与方法
1. 星座与链路仿真模块
- 工具与开发：基于卫星工具包（Satellite Tool Kit, STK）的API开发并行计算框架，实现数千颗卫星的实时轨道、可见性与链路参数模拟。通过Python脚本自动化配置STK场景，并设计主从进程架构：主进程配置卫星参数（轨道高度、收发机等），从进程分组计算链路状态（时延、带宽），通过Socket接口异步传输数据。
- 创新点：突破STK单进程限制，利用多核服务器集群实现实时仿真，支持Starlink等大规模星座（如1584颗卫星）的分钟级参数更新。

1. 虚拟网络构建模块

   • SDN技术应用：采用Mininet构建软件定义网络（Software Defined Network, SDN），将STK输出的星座参数映射为虚拟拓扑。主机节点替换为Docker容器化的Hadoop镜像，交换机通过Open vSwitch（OVS）模拟星间链路（Inter-Satellite Links, ISLs），控制器采用Ryu实现流量调度。
     
   • 动态同步机制：设计时间槽（1分钟/槽）同步策略，根据星座运动动态调整链路参数（如时延周期性波动），模拟LEMCNs的网格拓扑与多跳路由特性。

2. 大数据应用仿真模块

   • Hadoop集成：在容器中部署Hadoop分布式文件系统（HDFS）与MapReduce，测试文件检索与计算任务吞吐量。
     
   • 实验设计：
     
     • 存储性能：对比RS(6,3)纠删码与3副本策略在384MB文件检索中的吞吐量，分析网络规模（4×4至8×8节点）对性能的影响。
       
     • 计算性能：以2GB排序任务为例，研究不同规模工作节点（1/4、1/2、全部节点）的作业完成量，揭示时延与数据流调度的关联性。

主要结果
1. 星座动态性影响：仿真显示Starlink星座中端到端时延随卫星运动呈周期性波动（20-80ms），且网络规模扩大导致平均时延上升（如8×8拓扑较4×4增加60%）。
2. 存储性能优化：在LEMCNs中，RS(6,3)纠删码较3副本策略提升文件检索吞吐量最高达22.9%（8×8拓扑），而GDCNs仅提升2.3%，表明纠删码更适合高动态网络。
3. 计算任务瓶颈：MapReduce作业在8×8拓扑中，使用全部节点的吞吐量反较1/2节点下降30%，因多跳传输引发局部拥塞。通过动态调度工作节点数据流可缓解此问题。

结论与价值
1. 科学价值：首次实现LEMCNs环境下BDAs的多维联合仿真，揭示动态拓扑对分布式存储与计算的量化影响，为OBDP算法设计提供基准平台。
2. 应用价值：提出的纠删码优化与流量调度策略可直接应用于星载数据处理系统，提升遥感图像分析、在线学习等服务的效率。
3. 技术突破：集成STK、SDN与容器化技术，开发支持实时仿真的并行框架，为未来空天计算研究提供方法论参考。

研究亮点
1. 方法创新：首创“星座-网络-应用”三层仿真架构，解决传统工具无法模拟实际应用的局限。
2. 发现创新：揭示LEMCNs中纠删码的性能优势及计算任务规模与吞吐量的非线性关系。
3. 工程价值：平台已支持Starlink等商业星座的仿真，为6G星地一体化网络提供验证手段。

未来方向
作者计划进一步研究SDN控制器在LEMCNs中的部署优化、纠删码策略适配及流量感知调度算法，以提升平台对复杂任务的仿真能力。