农业机器人玉米冠层下导航线提取：基于单目相机与3D激光雷达的特征级融合方法

作者及机构
本研究由中国农业大学工程学院的Chao Ban、Tong Su、Ruijuan Chi（通讯作者）、Guohui Fu团队与洛阳智能农业动力装备国家重点实验室的Lin Wang合作完成，发表于2025年2月的《Computers and Electronics in Agriculture》期刊（卷232，文章编号110124）。

学术背景
玉米作为全球第二大种植作物，其生长周期中的监测、喷药和施肥等农事操作高度依赖自动化技术。传统基于GNSS（全球导航卫星系统）或冠层上方传感器的导航方法在中后期高秆玉米田中面临挑战：冠层茂密、叶片交叉、光线多变导致导航线提取困难。为此，本研究提出一种基于玉米茎秆为参照物的特征级融合方法，通过低置的单目相机与3D激光雷达（LiDAR）数据融合，实现冠层下高精度导航线提取。

研究流程

1. 传感器配置与数据采集

   • 设备：Basler ACA1920-40GC单目相机（1920×1200像素）与RoboSense RS-LiDAR-32（每秒57,600点云），安装于机器人离地30 cm处，硬同步采集RGB图像与3D点云。
     
   • 场景分类：根据数据特征分为正常场景（茎秆均匀分布）、遮挡场景（杂草/叶片干扰）和出口场景（田块边缘作物混杂）。
     

2. 图像语义分割（StemFormer网络）

   • 网络设计：提出基于Transformer与CNN双分支的StemFormer，包含空间分支（提取局部特征）和纹理分支（全局上下文），通过双边特征融合（BFF）模块和多尺度空间池化金字塔（MSPP）提升茎秆分割精度。
     
   • 数据集：3000张标注图像（增强后），划分训练:验证:测试=8:1:1，标注目标为地面（绿色）和茎秆（红色）。
     
   • 性能：模型参数量2.15 MB，MIoU（平均交并比）86.40%，MPA（平均像素精度）93.20%，单帧预测时间24.93 ms。
     

3. 点云处理与自适应半径滤波（ARF）

   • 地面拟合：基于RANSAC算法（角度约束λ=15°、距离阈值δ=0.01 m）拟合地平面，将茎秆点云投影至二维平面。
     
   • ARF滤波：按距离分区（A1-A3），动态调整密度阈值（ξ1-ξ3），过滤非茎秆噪声点。实验显示ARF的F1分数达95.86%-96.13%，优于传统半径滤波（RF）和统计滤波（SF）。
     

4. 导航线拟合

   • 聚类与拟合：采用DBSCAN算法（搜索半径rd=0.05 m，最小点数ε=10）对茎秆点云聚类，通过最小二乘法（LSM）拟合作物行中心线，最终生成导航线方程（斜率sl，截距b）及航向角θ=arctan(sl)。
     

主要结果
- 导航线精度：正常、遮挡、出口场景的平均正确率（CR）分别为98.00%、92.50%、90.50%，整体CR达93.67%；航向角平均绝对误差（MAE）1.53°，标准差（SD）1.46°。
- 实时性：全流程最大运行时间80.58 ms，低于传感器采集周期（100 ms）。
- 对比优势：相较于Gai等（2021）的航向角MAE 3.2°，本方法误差降低52%。

结论与价值
本研究通过多模态传感器融合，解决了高秆玉米冠层下导航线提取的难题。科学价值在于：
1. 提出首个基于Transformer的玉米茎秆分割网络StemFormer，平衡局部与全局特征；
2. 开发自适应半径滤波（ARF），提升稀疏点云下的茎秆定位鲁棒性；
3. 特征级融合策略为复杂农业场景的机器人导航提供新范式。
应用价值：可扩展至高粱、果园等类似场景，支持精准农业中的自动化喷药与施肥。

研究亮点
1. 方法创新：首次将单目相机与3D LiDAR的特征级融合应用于玉米冠层下导航，克服单一传感器局限性。
2. 技术突破：StemFormer网络在保持低复杂度（11.13 G FLOPs）下实现高精度分割；ARF算法通过动态阈值优化噪声过滤。
3. 场景普适性：在遮挡、光线变化等复杂条件下仍保持93%以上的导航线提取正确率。

局限性：未针对其他高秆作物（如甘蔗）验证泛化性，且传感器成本较高。未来拟通过多传感器分布式布局进一步优化系统。

（注：全文术语首次出现均标注英文，如“平均交并比（MIoU, Mean Intersection over Union）”）