基于图像的3D重建技术在智慧农业中的应用:综述与展望
本文是一篇发表于《Computers and Electronics in Agriculture》期刊(第248卷,2026年,文章ID 111828)的综述性论文。作者团队由来自中国农业大学国家数字渔业创新中心、农业农村部水产动物与畜禽智能养殖技术重点实验室、中国农业大学农业水资源高效利用全国重点实验室、北京市农业物联网工程技术研究中心、山东省数字渔业重点实验室、中国农业大学信息与电气工程学院以及北京联合大学智慧城市学院的多位学者共同完成,通讯作者为王海华(Haihua Wang)。该文系统性地回顾了截至2025年,基于图像的3D重建技术在智慧农业领域的方法学进展与代表性应用,并探讨了当前挑战与未来方向。
论文主题与核心论点 本文的核心主题是探讨基于图像的3D重建技术如何作为智慧农业数字化转型的核心驱动力,在农业环境感知、精准作业与决策支持等方面发挥关键作用。论文的主要论点在于,随着从传统几何方法到深度学习、神经辐射场等新兴技术的演进,3D重建技术正变得更高效、更适应复杂的农业场景,但其在实时性、鲁棒性和系统集成方面仍面临挑战,未来需向轻量化建模、多模态数据融合和边缘部署等方向发展。
主要观点阐述
第一,智慧农业对3D重建技术有迫切需求,而传统2D方法存在固有局限。 文章开篇即指出,在全球人口增长与资源约束加剧的背景下,农业生产向精准化、数字化转型至关重要。传统的农业监测方法(如人工观测、2D图像分析)存在效率低、视角单一、难以精确捕捉作物与牲畜三维形态特征等局限。例如,二维图像无法量化作物冠层的三维结构,也难以评估牲畜的行为模式。因此,非侵入、高精度、低成本的基于图像的3D重建技术应运而生,成为作物表型分析、疾病诊断、体尺测量等应用的核心工具,推动智慧农业向动态化与智能化演进。本文明确将基于图像的3D重建定义为主要依赖于视觉图像观测的方法,包括基于RGB图像和RGB-D图像的方法,而将主要依赖激光雷达(LiDAR)及其与图像融合的方法排除在核心讨论范围之外,以聚焦于低成本、高便携性和灵活数据融合的优势技术路线。
第二,3D重建方法学呈现从传统几何方法到数据驱动与神经渲染的清晰演进路径,各具优缺点,需按场景选择。 论文对方法学进行了层次分明的梳理。首先,传统几何重建方法 是基础,主要包括:1) 多视图重建方法,如体素雕刻(Voxel Carving)和运动恢复结构与多视图立体视觉(SFM-MVS),后者因其较低成本和实用精度在农业中广泛应用;2) 有限视图重建方法,如双目立体视觉、光度立体视觉(Photometric Stereo, PS)和从明暗恢复形状(Shape from Shading, SFS),这些方法部署简单但对成像条件和先验假设更敏感。其次,基于深度学习的重建方法 通过学习从图像到3D表示的映射,降低了对手工设计匹配规则的依赖,能更好地处理遮挡、弱纹理和目标形变。这包括非辐射场深度学习重建(输出体素、点云、网格等)和基于深度学习的单目SLAM(用于机器人导航与在线建图)。最后,神经场景表示与渲染方法 代表了前沿方向:1) 神经辐射场(NeRF) 通过连续函数隐式表示场景,能实现高质量的新视角合成和几何重建,但计算成本高,对动态场景鲁棒性不足;2) 3D高斯泼溅(3DGS) 使用显式的3D高斯基元表示场景,在渲染质量与计算效率间取得了更好平衡,更适合高质量可视化和轻量化部署。文章通过详尽的表格对比了各类方法在输入要求、计算复杂度、精度和适用场景上的差异,并总结指出:从受控的室内、温室环境到光照多变、存在遮挡和运动的户外大田、果园,再到涉及非刚性运动的牲畜、水生生物监测,方法的选择需在重建精度、计算效率和场景鲁棒性之间权衡,整体趋势是从显式几何恢复转向隐式或基于渲染的表征,从离线处理转向更实时、轻量化和集成化的部署。
第三,在作物系统应用中,3D重建技术已全面渗透至从微观器官到宏观群体的表型分析以及机器人作业感知,技术路线向自动化、高保真和语义理解深化。 论文将作物领域的应用归纳为两大方向:作物表型分析和机器人感知与操作。在作物表型分析方面,根据场景复杂度和规模进一步细分:1) 室内单株作物重建:在可控环境下,SFM-MVS、体素雕刻是主流,用于获取植株高度、叶面积、叶角等精细结构参数。近期,深度学习、NeRF和3DGS被引入以处理复杂结构,如PeanutNeRF用于花生荚果检测,PlantGaussian结合3DGS与SAM(Segment Anything Model)实现跨物种的高保真重建。2) 田间单株作物重建:面临自然光照、风致运动等挑战,研究侧重于提升鲁棒性。便携式表型平台(如MVS-Pheno)与SFM-MVS结合实现了高通量田间测量。深度学习(如结合Mask R-CNN)和NeRF(如Nerf-AG)等方法开始用于复杂田间环境下的高精度建模。3) 田间群体作物重建:关注冠层或群体水平的结构特征,用于生物量估算和产量预测。无人机(UAV)搭载RGB相机结合SFM-MVS已成为主导策略。研究前沿转向融合语义理解,如BioNet结合NeRF模块从UAV图像提取3D语义特征以提升生物量预测精度,3DGS-Ag模型用于处理果园复杂遮挡。4) 作物器官级重建:针对叶片、果实、根系等器官的精细几何恢复。传统几何方法(SFM-MVS、PS)在叶片脉序、果实尺寸测量上表现优异。单视图结合深度学习(如使用ResNet和可微分渲染)降低了数据采集成本。3DGS与SAM的结合(如Wheat3DGS)实现了田间麦穗的高通量、非破坏性测量。在机器人感知与操作方面,3D重建用于导航、避障、目标定位和抓取规划。研究结合实例分割与几何分析(如检测番石榴果实与枝条),集成RTK-GPS、IMU与视觉惯性SLAM实现高精度定位与建图。在果树修剪领域,SFM-PMVS用于重建枣树三维结构以辅助智能修剪,而轻量级网络(如ET-PatchNet)被开发用于移动平台上的高效多视图立体深度估计。前沿研究探索使用NeRF生成高保真场景表示用于机器人仿真(如结合Unreal Engine 5和ROS)和全景环境理解(如PAG-NeRF方法)。
第四,在畜牧系统应用中,3D重建技术主要服务于非接触式体尺测量、体重估算和体况评估,技术发展趋向于动态适应、自动化和跨物种拓展。 畜牧领域的应用核心是利用3D身体形状恢复来提取形态特征。体尺测量方面,基于RGB-D相机的多视点云重建与配准(常使用迭代最近点算法ICP)是主流方案,用于获取牛、猪、羊的体长、体高、胸围等参数。为解决动态姿态下的测量误差,研究引入了姿态自适应模型(如PMA模型)和点云学习分割网络(如改进的PointNet++、PointStack)。低成本方案如基于智能手机的SFM方法也被验证有效。技术前沿拓展至NeRF用于奶牛体积测量,以及水下双目视觉用于鱼类体尺测量。体重估算与体尺重建紧密相关,通过将重建的几何特征与统计或学习模型结合进行预测。研究从早期的双目立体视觉和SFM摄影测量法,发展到利用RGB-D相机结合深度学习模型(如从点云重建网格模型并用深度神经网络预测体重)。针对点云噪声和缺失数据,研究提出了迭代偏移网格重建、逐步孔洞填充等方法以提升模型完整性和估算可靠性。最新的进展包括将NeRF监督的立体匹配用于水下自由游动鱼类的体重估算,以及建立“表面积-体重”三维关联的轻量化实例分割与立体匹配框架。这些研究表明,该领域正从相对受控的畜牧场景向更动态、视觉挑战更大的环境(如水产养殖)拓展。
第五,当前技术在实际农业应用中仍面临实时性、鲁棒性与系统集成的核心挑战,未来发展需聚焦轻量化、多模态融合与边缘智能。 文章在综述最后指出,尽管3D重建技术取得了显著进展,但其在智慧农业中的广泛部署仍受限于几个关键因素:1) 实时性能:许多高精度方法(如NeRF、复杂SFM-MVS)计算开销大,难以满足田间机器人或在线监测的实时性要求。2) 鲁棒性:农业环境存在遮挡、光照不均(如强烈日光、阴影)、目标运动(风致植物摇摆、动物活动)、弱纹理(如土壤、密集叶片)等挑战,严重影响重建的完整性和准确性。3) 系统集成:将3D重建模块与农业机器人、无人机、环境传感器等其他系统无缝集成,实现端到端的智能决策与操作,仍是一个复杂的系统工程问题。针对这些挑战,论文展望了未来研究方向:1) 轻量化建模与高效算法:开发更适合嵌入式设备和移动平台的计算框架,如优化后的3DGS、轻量级神经网络架构,以平衡精度与效率。2) 多模态数据融合:融合视觉、深度、热红外、高光谱、激光雷达等多源数据,利用互补信息提升在复杂、非结构化环境下的感知与重建能力。3) 边缘计算与部署:将算法部署到边缘设备(如无人机、机器人本体),减少数据传输延迟,实现实时本地处理与决策,增强系统的自主性和实用性。
论文的价值与意义 本综述论文的价值在于其全面性和前瞻性。它首次将作物系统、畜牧系统以及机器人感知与操作三大智慧农业核心领域的3D重建应用置于同一框架下进行系统性比较与综述,突破了以往综述多局限于某一子领域(如仅植物表型或仅牲畜)的局限。同时,论文不仅涵盖了传统的几何重建方法,还重点突出了深度学习、神经辐射场(NeRF)和3D高斯泼溅(3DGS)等AI驱动的前沿方法,及时追踪了技术演进的最新趋势。通过详尽的文献梳理、方法对比和表格归纳,该文为农业信息学、计算机视觉和农业工程领域的研究人员提供了清晰的技术图谱和应用指南,指明了当前的技术瓶颈和未来的创新突破口,对推动3D重建技术在智慧农业中的理论创新与落地应用具有重要的参考价值。