学术研究报告：面向高级计算机视觉算法开发的LunarSim月球车模拟器
一、 研究作者、机构与发表信息 本研究报告基于波兰波兹南理工大学（Poznań University of Technology）控制、机器人与电气工程学院的研究团队所进行的一项原创性研究。该研究由 Dominik Pieczyński, Bartosz Ptak, Marek Kraft 和 Paweł Drapikowski 共同完成。研究成果以题为 “LunarSim: Lunar Rover Simulator Focused on High Visual Fidelity and ROS 2 Integration for Advanced Computer Vision Algorithm Development” 的论文形式，发表于期刊 Appl. Sci.，并于2023年11月16日正式在线发表。
二、 学术背景与研究目标 本研究属于空间机器人与计算机视觉交叉领域。随着月球及深空探测任务的日益增多，对月球车等自主机器人的需求不断增长。自主导航与感知是此类任务成功的关键，而依赖于视觉反馈的先进算法（如基于深度学习的感知、视觉里程计、同步定位与建图等）的开发与测试至关重要。然而，在真实月球环境或地面模拟场进行算法测试成本高昂、条件受限且难以重复。因此，高保真度的仿真环境成为不可或缺的工具。
尽管已有一些针对行星车动力学（如轮-壤相互作用）的高保真模拟器，但它们通常在视觉保真度、与机器人标准软件框架的集成度以及支持异构硬件在环（Hardware-in-the-Loop, HIL）测试方面存在不足。现有仿真器生成的图像往往缺乏真实感，难以满足训练和评估数据驱动的计算机视觉算法的需求。同时，缺乏与机器人操作系统（Robot Operating System, ROS）等工业标准软件的无缝集成，也阻碍了算法的快速原型开发与部署。
基于此背景，本研究旨在开发并验证一个名为 LunarSim 的新型月球车仿真环境。其主要目标是：1) 提供高视觉保真度的合成图像数据，以支持计算机视觉算法的开发与训练；2) 实现与 ROS 2 的深度集成，以利用其丰富的算法生态和模块化架构；3) 具备广泛的硬件兼容性，支持从嵌入式AI设备到可编程逻辑（FPGA）等多种计算平台进行算法测试与验证。最终，该模拟器旨在为月球车自主感知与导航算法的研究提供一个强大、灵活且易于使用的工具。
三、 详细研究流程与方法 本研究的工作流程主要围绕LunarSim模拟器的开发、验证及其在多种计算机视觉任务上的应用演示展开，可分为以下几个主要环节：
1. 模拟器系统设计与构建： 研究团队选择 Unity 实时开发平台作为仿真引擎，因其具备强大的实时渲染和物理模拟能力。模拟环境构建了一个950米×950米的人工月球地形，包含陨石坑、丘陵和平地，并手工放置了岩石模型。为了提高视觉真实感，研究采用了多种技术：使用专有资产（纹理、模型）；对反照率（颜色）贴图和法线纹理采用混合策略，使月壤与物体融合更自然；应用了色彩分级、环境光遮蔽、接触阴影和屏幕空间反射等后处理效果。物理模拟基于 NVIDIA PhysX 引擎，模拟了重力、碰撞、惯性等基本物理现象，但未对土壤压实等与视觉感知无关的高阶地形力学进行建模。
模拟器的核心创新在于其双重操作模式和与ROS 2的深度集成。通过YAML配置文件，用户可以灵活设置相机参数（焦距、传感器尺寸、分辨率、噪声、畸变等），并切换模式。 * 数据集生成模式：在此模式下，模拟器利用Unity的Perception库，同步捕获并保存高质量的RGB图像、语义分割真值（可配置为岩石、地形、月球车部件等类别）、目标检测边界框（目前主要针对岩石）以及深度图。该模式旨在为机器学习算法生成大量带标注的合成训练数据。 * ROS 2连接模式：在此模式下，模拟器通过 ROS 2 for Unity 库与ROS 2生态系统连接。它发布模拟传感器数据（如立体相机图像、IMU数据、深度信息、地面真实位姿），并接收ROS 2节点发送的控制指令（如geometry_msgs/Twist消息）来驱动虚拟月球车。这使得研究人员可以直接在模拟环境中部署和测试现有的或新开发的ROS 2算法节点。
此外，模拟器被容器化（使用Docker），作为一个单一镜像分发，极大地提高了可移植性和易用性，并允许合法地共享包含专有资源的场景。
2. 模拟器性能与实用性验证： 为了全面评估LunarSim的能力，研究团队设计并执行了三个具体的计算机视觉应用案例，并在不同的硬件平台上进行了演示。这些案例不仅展示了模拟器生成数据的质量，也验证了其与ROS 2集成及硬件兼容性。
案例一：目标检测（在嵌入式设备上）
案例二：图像分割（在FPGA平台上）
案例三：视觉里程计（在x86迷你PC上）
/lunarsim/gt/pose）。将VO估算的轨迹与地面真实轨迹进行比较，计算平均误差和最大误差。3. 数据分析流程： * 视觉保真度定量评估：使用在ImageNet上预训练的MobileNetV2模型作为特征提取器，计算不同图像数据集（ALDD真实部分、ALDD合成部分、LunarSim合成部分）平均嵌入向量之间的余弦距离，以此量化合成图像与真实图像的相似度。 * 算法性能评估：使用标准的计算机视觉评估指标，如目标检测的mAP、图像分割的F1分数、视觉里程计的轨迹误差（均方根误差、最大误差）。 * 硬件性能评估：测量在不同硬件平台（Jetson NX, VCK190 FPGA）上的推理速度（帧每秒）。
四、 主要研究结果 本研究通过系统性的开发和验证实验，获得了以下关键结果：
1. 模拟器视觉保真度得到验证： 通过计算图像嵌入向量的余弦距离，LunarSim合成图像与ALDD真实图像的平均嵌入距离为0.347，而ALDD合成图像与ALDD真实图像的距离为0.360。更小的距离表明LunarSim生成的图像在特征空间上更接近真实月球图像，证明了其具有更高的视觉真实感。
2. 合成数据有效提升模型性能： 在图像分割任务中，交叉验证实验的结果具有说服力。当使用ALDD合成数据训练模型时，在ALDD真实测试集上的F1分数为0.431，在ALDD真实+Lunares真实测试集上的F1分数为0.428。当使用LunarSim合成数据训练时，性能显著提升，在上述两个测试集上的F1分数分别提高到0.449和0.537。特别是在包含更广泛真实场景的混合测试集上，性能提升尤为明显（从0.428到0.537）。这直接证明，LunarSim生成的高质量合成数据能更有效地迁移到真实世界场景，对于训练鲁棒的感知模型具有重要价值。
3. 目标检测模型可在边缘设备高效运行： 在Jetson Xavier NX上部署的YOLOv7-tiny模型取得了良好的平衡。量化后的模型在保持较高精度的同时提升了速度：FP32精度下mAP@0.5为0.424，速度40.27 img/s；FP16精度下mAP略升至0.432，速度提升至44.62 img/s；INT8精度下速度最快（48.96 img/s），但精度略有下降至0.411。这表明利用LunarSim数据训练的模型可以成功部署在资源受限的嵌入式设备上，满足实时性要求。ROS 2节点的演示也证明了模拟器与算法模块集成的流畅性。
4. 图像分割算法可在FPGA平台部署： 使用LunarSim数据训练并量化后的U-Net模型，在Xilinx VCK190 FPGA上成功部署。量化后的模型在ALDD真实和混合真实测试集上的F1分数分别为0.459和0.541，与浮点模型性能接近。这验证了模拟器在支持面向空间应用的传统高性能、低功耗计算平台（如FPGA）方面的能力。实时分割的ROS 2节点演示进一步体现了其在硬件在环测试中的实用性。
5. 视觉里程计在模拟环境中表现可靠： 在长达106.31米的模拟行驶测试中，基于OpenVSLAM的视觉里程计算法估算的轨迹与地面真实轨迹相比，平均误差为0.55米，最大误差为1.26米。考虑到月球表面环境特征自相似性高、纹理相对稀疏的挑战，这个精度水平是可接受的，证明了模拟器生成的视觉数据足以支持复杂的视觉导航算法的开发与初步评估。同时，该实验完整展示了模拟器提供多传感器数据流和地面真值用于算法评估的闭环工作流程。
五、 研究结论与价值 本研究成功设计、开发并验证了LunarSim——一个专注于高视觉保真度并与ROS 2深度集成的月球车模拟器。其主要结论和价值体现在以下几个方面：
科学价值与应用价值： 1. 填补了现有工具链的空白：LunarSim在视觉保真度、ROS 2兼容性以及硬件支持广度之间取得了良好平衡，弥补了现有仿真工具（如专注于地形力学的模拟器或视觉保真度不足的通用模拟器）的不足。 2. 为算法研发提供高效平台：该模拟器为研究人员提供了一个可控、可重复、低成本的环境，用于开发和测试月球车自主感知与导航算法。其数据集生成模式能够大规模产生带精确标注的合成数据，解决了真实数据获取难、标注成本高的问题，特别有利于数据驱动的深度学习算法。 3. 加速技术验证与部署：通过与ROS 2的无缝集成以及对多种硬件平台（从x86 PC到嵌入式GPU和FPGA）的支持，LunarSim使得从算法仿真、软件在环测试到硬件在环测试的整个开发流程变得更加顺畅，有助于将研究成果更快地向实际任务硬件迁移，符合“新太空”范式对灵活、快速开发的需求。 4. 具备良好的可扩展性：基于Unity和ROS 2的模块化设计，使得模拟器易于扩展，例如增加新的传感器模型、机器人平台或模拟其他地外环境（如火星）。
六、 研究亮点 1. 高视觉保真度与实用性验证：研究不仅通过先进的渲染技术实现了高视觉真实感，更通过严谨的交叉验证实验（图像嵌入距离计算、分割模型性能对比）定量证明了其合成数据在训练视觉模型方面优于现有公开数据集。 2. 深度融合ROS 2与硬件生态：模拟器并非孤立工具，而是深度嵌入到机器人开发的标准软件框架（ROS 2）中，并演示了在多种异构硬件上的端到端应用，展现了其作为完整研发与测试平台的潜力。 3. 面向实际应用的多场景演示：研究通过目标检测、语义分割和视觉里程计三个具有代表性的计算机视觉任务，全面展示了模拟器在感知、导航算法开发与评估中的实际效用，覆盖了从数据生成、算法训练到硬件部署的全链条。 4. 工程完备性与易用性：提供容器化部署、配置文件驱动、双重操作模式等设计，显著降低了使用门槛，提高了研究的可复现性和工具的易分享性。
七、 其他有价值内容 论文还详细讨论了模拟器构建的理论依据，例如整合了卫星图像和月球任务数据来构建环境，并根据已知的月球属性（重力、光照角、温度）调整参数，以增强模拟的真实性和理论有效性。此外，作者团队已将模拟器代码开源，允许研究社区使用、验证并在此基础上进行进一步开发，这有助于推动领域内的协作与进步。