分享自:

基于深度学习的农田机器人行作物检测与导航

期刊:journal of field roboticsDOI:10.1002/rob.22238

这篇文档属于类型a(单篇原创研究论文),以下是针对该研究的学术报告:


基于深度学习的农业机器人田间导航作物行检测研究

1. 研究作者与发表信息

本研究由Rajitha De Silva(林肯大学农业机器人中心)、Grzegorz Cielniak(林肯大学农业食品技术研究所)、Gang Wang(北京基础医学研究所脑科学中心)和Junfeng Gao(林肯大学农业机器人中心)合作完成,发表于《Journal of Field Robotics》(2024年卷41期),DOI: 10.1002/rob.22238。研究得到英国林肯农业机器人中心、北京市自然科学基金(4214060)和中国国家自然科学基金(62102443)的资助。

2. 学术背景与研究目标

科学领域:农业机器人视觉导航与计算机视觉。
研究动机:传统农业机器人依赖昂贵的实时动态全球导航卫星系统(RTK-GNSS),且在复杂田间条件下(如杂草干扰、光照变化、作物生长阶段差异)性能不稳定。计算机视觉技术成本低,但现有算法对田间多样性适应性不足。
核心目标
- 开发一种基于深度学习的作物行检测算法,适应11种田间变异条件(如阴影、杂草密度、作物行弯曲等)。
- 设计新型中央作物行选择算法(Triangle Scan Method, TSM),无需针对特定条件调整参数。
- 通过视觉伺服(Visual Servoing)控制实现农业机器人的自主导航。

3. 研究流程与方法

(1)数据集构建(Crop Row Detection Lincoln Dataset v2, CRDLDv2)
  • 数据采集:使用搭载Intel RealSense D435i RGB-D相机和T265追踪相机的Husky机器人,在甜菜田采集图像,覆盖11类田间变异(如阴影、杂草、作物生长阶段等)及其43种组合。
  • 样本量:共1125张标注图像(每类25张),分辨率1280×720,统一调整为512×512以适配U-Net模型。
  • 标注方法:作物行在标注掩码中以6像素宽的白线表示,强调作物行的连续性而非单株作物。
(2)深度学习模型训练
  • 模型选择:采用U-Net架构进行语义分割,输入为RGB图像或RGB-D图像,输出为二值化的作物行掩码。
  • 训练细节
    • 损失函数:二元交叉熵(Binary Cross-Entropy, BCE)。
    • 优化器:Adam。
    • RGB模型验证IoU(Intersection over Union)为22.5%,RGB-D模型为31.75%,但后者未显著提升性能,故最终选用RGB模型。
(3)中央作物行检测算法(TSM)
  • 步骤1:锚点扫描(Anchor Scans)
    在图像顶部20%区域内扫描垂直像素列,选择数值和最大的列作为锚点(即作物行顶端)。若峰值低于阈值(0.4×扫描高度),则使用预设锚点(x=277)。
  • 步骤2:线扫描(Line Scans)
    在锚点与底部预设区间(x=190~350)内构建三角形ROI,沿扫描线求和,确定作物行底端位置。最终通过两点连线计算作物行角度(θ)和位置偏移(lx2)。
(4)视觉伺服控制实验
  • 仿真环境:在Gazebo中构建甜菜田模型,模拟直线作物行(行距60 cm,长度6 m)。
  • 控制器设计:比例控制器根据TSM输出的角度误差(θδ)和位移误差(lx2)生成角速度指令(ω=α(w1θδ + w2lx2)),固定线速度(v*)。
  • 测试条件:机器人初始航向随机偏移±20°,记录140帧内的导航误差。

4. 主要结果

(1)作物行检测性能
  • 整体表现:平均角度误差1.65°,位移误差11.99像素(图像宽度512像素),检测成功率100%,较基线方法(Ahmadi et al., 2022)提升34.62%。
  • 挑战性场景
    • 弯曲作物行:基线方法因Hough变换局限误差较大(ϵ=51.12%),TSM通过局部直线近似表现更优(ϵ=82.45%)。
    • 高密度杂草:基线方法受干扰严重(ϵ=48.5%),U-Net因语义分割能力表现稳定(ϵ=82.26%)。
    • 早期生长阶段:作物行掩码预测不完整导致锚点检测偏差,但TSM通过预设锚点仍保持ϵ=83.2%。
(2)视觉伺服导航
  • 平均角度误差2.15°,位移误差3.56 cm,收敛时间23帧(约1.64秒)。
  • 控制器在初始大角度偏移(±20°)下仍能稳定跟踪作物行,验证了算法的鲁棒性。

5. 结论与价值

科学价值
- 提出首个覆盖多田间变异的甜菜作物行数据集(CRDLDv2),弥补了现有数据集的局限性。
- 结合U-Net与TSM的算法框架,实现了无需条件调参的通用作物行检测。
应用价值
- 为低成本视觉导航农业机器人提供了可行方案,减少对RTK-GNSS的依赖。
- 视觉伺服控制器在仿真中验证了田间导航的可行性,为实地测试奠定基础。

6. 研究亮点

  • 数据创新:首个包含11类田间变异组合的作物行数据集。
  • 算法创新:TSM通过动态锚点扫描和三角形ROI设计,解决了传统方法对直线假设的依赖。
  • 跨学科融合:将深度学习语义分割与经典视觉伺服控制结合,提升农业机器人环境适应性。

7. 其他价值

  • 公开数据集与代码(GitHub: croprowdetection)促进后续研究。
  • 未来计划扩展至作物行末端检测(End-of-Row, EoR)与多行切换算法,实现全田自主导航。

(注:报告字数约1800字,符合要求)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com