这篇文档属于类型a，是一篇关于无人机单目三维全景测绘用于果园水果形状补全的原创研究论文。以下是详细的学术报告：

作者及机构
本研究由Kaiwen Wang（瓦赫宁根大学与研究中心信息技术组）、Yue Pan（波恩大学机器人中心）、Federico Magistri（波恩大学机器人中心）、Lammert Kooistra（瓦赫宁根大学地理信息科学与遥感实验室）、Cyrill Stachniss（波恩大学机器人中心）、Wensheng Wang（中国农业科学院农业信息研究所）和João Valente（西班牙国家研究委员会自动化与机器人中心）合作完成，发表于《ISPRS Journal of Photogrammetry and Remote Sensing》2026年第231卷。

学术背景
本研究属于精准农业与计算机视觉交叉领域。水果形状的精确重建对高通量表型分析、产量估算和果园管理至关重要。传统方法依赖二维成像或显式三维重建，但受限于植物几何结构导致的遮挡、稀疏视角和复杂场景动态性。为解决这些问题，研究团队提出了一种基于无人机（UAV）的单目三维全景测绘框架，结合多目标跟踪与分割（MOTS）、运动恢复结构（SFM）和隐式神经表示（DeepSDF），以实现果园环境下水果形状的鲁棒补全。研究目标包括：（1）开发适用于果园监测的高效无人机近距离感知方法；（2）从复杂场景中实现水果的精确跟踪与分割；（3）通过隐式形状补全重建完整的水果几何形态。

研究流程
1. 数据采集
- 野外数据：在荷兰Randwijk的苹果园中，使用大疆Phantom 4 RTK无人机采集四种飞行模式（侧视、近距离升降、行间俯视侧向/正向）的视频数据（3 fps，分辨率3840×2160），覆盖0.083公顷区域，包含约80棵苹果树。手动测量135个苹果的最大直径和2.7米高的支撑杆作为尺度参考。
- 实验室数据：使用Creality CR-Scan Ferret三维扫描仪（精度0.1毫米）采集100个成熟期苹果的高精度模型，通过主成分分析（PCA）对齐坐标系。

1. 方法流程

   • 苹果多目标跟踪与分割（MOTS）：采用Grounded-SAM2模型，结合开放集检测器Grounding DINO和Segment Anything Model2（SAM2），以文本提示“apple”初始化跟踪，生成像素级实例掩膜和时序一致的ID。
     
   • 三维场景重建：通过Agisoft Metashape Pro软件执行运动恢复结构（SFM），以支撑杆为尺度参考，生成密集点云（超高质量，深度过滤设为“mild”）。
     
   • 形状补全：基于DeepSDF的隐式神经表示，预训练模型使用88个实验室扫描苹果，通过多层感知机（MLP）学习形状先验，优化部分观测的苹果几何。
     
   • 全景地图构建：将场景分解为背景（果园低分辨率点云）和前景（苹果实例高分辨率点云），通过表面重建损失（公式1）和正则化损失（公式2）优化形状补全。
     

2. 性能评估

   • MOTS评估：对比Grounded-SAM2与TrackRCNN、PointTrack模型，采用MOTSA（多目标跟踪与分割准确率）、sMOTSA（软MOTSA）和MOTSP（分割精度）指标。提出无标注评估算法（算法1），通过实例与相机运动速度比验证跟踪稳定性。
     
   • 形状补全精度：计算补全模型与真实扫描苹果的倒角距离（Chamfer Distance），对比球体近似法（SA）。
     
   • 田间重建：按可见性分级（A:≥90%，E:<10%），分析不同遮挡水平下的直径预测误差（RMSE）。
     

主要结果
1. MOTS性能：Grounded-SAM2在飞行模式A中表现最佳（MOTSA 34.84%，sMOTSA 14.95%），显著优于TrackRCNN（MOTSA -2.69%）和PointTrack（MOTSA 8.47%）。无标注评估显示实例运动与相机速度比接近1.0，验证了跟踪鲁棒性。
2. 形状补全：DeepSDF的倒角距离误差（0.98±0.05毫米）低于球体近似法（1.67±0.08毫米），尤其在遮挡区域（如苹果10误差0.93毫米 vs SA 1.59毫米）。
3. 田间应用：成功重建2729个苹果，对可见性>10%的苹果（120个样本）直径预测RMSE为1.85厘米。遮挡水平与误差呈正相关，但重度遮挡（D级）因掩膜质量提升误差反降。

结论与价值
本研究通过融合无人机近距离感知、MOTS和隐式形状补全，实现了厘米级精度的果园水果三维重建，毫米级补全误差。科学价值在于提出了一种适用于密集遮挡场景的实例级表型分析框架；应用价值体现在支持精准农业中的产量预估和自动化管理。研究还公开了实验室高精度苹果数据集和田间视频数据（Zenodo: 10.5281/zenodo.15635994），为后续研究提供基准。

亮点
1. 方法创新：首次将Grounded-SAM2、DeepSDF与SFM结合，解决果园环境下的水果形状补全问题。
2. 评估创新：提出无需标注的MOTS评估协议，降低验证成本。
3. 实用性：系统在真实果园中验证，飞行模式优化（如侧视A模式）为无人机路径规划提供指导。

其他价值
研究揭示了苹果生长阶段（膨胀期与成熟期）对重建精度的影响（实验室与田间直径平均偏差1.6厘米），为跨阶段表型分析提供了修正依据。未来工作可扩展至其他作物并集成多模态传感器以提升鲁棒性。