基于高分辨率LiDAR-相机融合与实例分割的精准果实定位研究

1. 研究作者、机构及发表信息

本研究由Hanwen Kang（华南农业大学工程学院）、Xing Wang和Chao Chen（莫纳什大学机械与航空航天工程系）合作完成，发表于期刊《Computers and Electronics in Agriculture》2022年第203卷，论文标题为《Accurate fruit localisation using high resolution lidar-camera fusion and instance segmentation》。

2. 学术背景与研究目标

科学领域：本研究属于农业机器人视觉感知领域，聚焦于果园环境下的果实定位技术。
研究动机：传统深度传感器（如立体相机、结构光相机）在复杂光照条件（如强阳光）和远距离场景下精度不足，而传统机械旋转式LiDAR点云稀疏且缺乏色彩信息。固态LiDAR（Solid-State LiDAR, SSL）技术的出现为高分辨率几何信息感知提供了可能，但其与相机的数据融合仍面临校准和分割算法的挑战。
研究目标：
1. 开发一种基于LiDAR-相机融合的视觉感知系统，实现果园中苹果的高精度三维定位；
2. 评估两种先进的LiDAR-相机外参标定方法（基于目标与无目标方法）；
3. 结合实例分割网络提升果实检测的鲁棒性。

3. 研究流程与方法

3.1 系统架构与数据融合

研究采用Livox Mid-70固态LiDAR和Intel RealSense D455相机，通过3D打印组件固定传感器配置。数据融合的核心是通过外参矩阵将LiDAR点云投影到相机坐标系，公式为：
[ C \hat{p}_{uv} = \pi(K \hat{T}_L^C L p_i) ]
其中，( \hat{T}_L^C )为LiDAR到相机的外参矩阵，( K )为相机内参矩阵，( \pi(\cdot) )为相机畸变模型。

3.2 外参标定方法对比

• 基于目标的标定（Target-based）：使用7×5棋盘格，通过优化变换矩阵最大化LiDAR点云与模板的相似性（式4-5），标定误差为2.03像素。
  
• 无目标标定（Targetless-based）：提取场景中的边缘特征（Canny算法处理图像，RANSAC拟合点云平面交线），通过最小化重投影误差优化外参（式11-16），标定误差为1.91像素，且无需特定标定物，更适合实际果园环境。
  

3.3 视觉感知与果实定位

• 实例分割网络：改进的YOLACT架构（ResNet-50主干+Panet特征融合），实时检测果实并生成掩膜。损失函数包含目标置信度、边界框和掩膜系数（式18）。
  
• 深度信息融合：将分割掩膜投影至LiDAR点云，通过Z-score算法剔除离群点，计算果实中心的三维坐标（式20）。
  

3.4 实验设计

• 深度感知对比：在室内外场景中对比LiDAR-相机与RealSense D455的点云质量。结果显示，LiDAR-相机在强光下仍能保留果实和树枝的几何细节，而D455点云严重失真（图9-12）。
  
• 果实定位精度：在澳大利亚Fankhauser苹果园中，测试不同距离（0.5–1.8 m）和时间段（上午、正午、傍晚）的定位误差。LiDAR-相机的标准差为0.230–0.285 cm，远优于D455的1.005–2.254 cm（表3）。
  

4. 主要结果与逻辑链条

• 外参标定：无目标方法更灵活且精度相当，适用于动态果园环境。
  
• 深度感知：LiDAR-相机在1.8 m距离下点云分辨率仍优于D455，尤其在强光条件下（图12）。
  
• 果实定位：LiDAR-相机的误差仅为D455的1/5，且不受光照影响（表3）。实验结果验证了融合系统在复杂环境中的鲁棒性。
  

5. 研究结论与价值

科学价值：
1. 提出首个结合高分辨率固态LiDAR与实例分割的果实定位框架；
2. 证实无目标标定方法在农业机器人中的实用性。
应用价值：
- 提升采摘机器人的成功率（定位误差<0.3 cm）；
- 为果园自动化提供高精度三维环境感知方案。

6. 研究亮点

• 技术创新：首次将固态LiDAR的高分辨率优势应用于果实定位；
  
• 方法鲁棒性：在强光、远距离等极端条件下性能稳定；
  
• 开源数据：公开了标定与点云可视化数据（Google Drive链接）。
  

7. 其他贡献

• 提出了基于几何特征的LiDAR-相机融合质量评估标准；
  
• 为后续研究（如多LiDAR融合、抓取姿态估计）奠定基础。
  

（全文约2000字）