基于深度学习的温室图像分割与地上部表型分析（DeepShoot）研究学术报告

本研究由来自德国莱布尼茨植物遗传与作物研究所（IPK）分子遗传学系的Narendra Narisetti、Michael Henke、Kerstin Neumann、Thomas Altmann、Evgeny Gladilin，以及德国哈尔茨应用科学大学自动化与计算机科学系的Frieder Stolzenburg共同完成。该研究成果以题为“Deep learning based greenhouse image segmentation and shoot phenotyping (DeepShoot)”的原创研究论文形式，于2022年7月13日发表在学术期刊《Frontiers in Plant Science》上。

一、 学术背景

本研究隶属于植物科学领域中的高通量表型组学（High-Throughput Plant Phenotyping）与计算植物表型分析技术范畴。随着基因组学技术的飞速发展，如何高效、精准、大规模地获取植物表型数据，成为揭示基因型-表型关联、理解植物对环境响应机制的关键瓶颈。图像分析是获取表型数据的重要手段，然而，在温室等复杂光学场景中，植物光学外观（如颜色、纹理、形状）受光照不均、阴影、遮挡、反射以及植物自身生长发育动态变化的影响，存在巨大变异性。这使得植物结构的自动检测与图像分割（Image Segmentation）——即区分图像中的前景（植物）与背景（非植物）区域——成为一项极具挑战性的任务。

传统的图像分割方法，如基于“空背景”差分、颜色空间转换（如RGB到HSV、L*a*b*）等方法，往往依赖于特定实验设置和植物类型，泛化能力差，难以适应不同物种、不同发育阶段、不同成像视角（如侧视、顶视）以及不同表型平台的多样性。尽管存在一些监督学习方法（如随机森林、浅层神经网络），但它们通常需要针对特定场景进行大量手动参数调整或特征工程，无法满足高通量表型分析对全自动、高效率、高精度算法的迫切需求。

近年来，卷积神经网络（Convolutional Neural Networks, CNNs）在计算机视觉领域展现出卓越性能，特别是在生物医学图像、遥感图像的分割任务中。然而，大多数基于CNN的植物表型研究仍停留在算法框架展示层面，缺乏便于终端用户（尤其是非专业编程人员）使用的软件工具。

因此，本研究旨在开发一个高效、易用的软件工具（命名为DeepShoot），基于预训练的深度学习模型，实现对温室培养的植物地上部（shoot）图像进行全自动分割和定量表型分析。该工具的核心目标是克服传统方法的局限性，提供一个能够处理不同植物物种（本研究以拟南芥、大麦、玉米为例）、不同成像视角、不同发育阶段图像的通用化解决方案。

二、 详细工作流程

本研究的工作流程系统而严谨，主要包括以下几个关键步骤：

1. 数据收集与准备：

   • 研究对象与样本量： 研究使用了三种模式植物：拟南芥（Arabidopsis）、大麦（Barley）和玉米（Maize）。图像数据采集自三套不同的LemnaTec Scanalyzer3D高通量植物表型平台，这些平台针对不同大小的植物设计，具有不同的成像舱、照明条件和背景颜色，相机分辨率在1-6百万像素之间。具体训练数据量如下：拟南芥侧视图197张图像、顶视图193张；大麦侧视图和顶视图各100张；玉米侧视图100张、顶视图55张。所有图像均涵盖了植物的早期、中期和晚期发育阶段，以确保模型的鲁棒性。
   • 地面真值（Ground Truth）生成： 为了训练监督式深度学习模型，需要精确标注的图像作为“标准答案”。本研究使用了一款名为KMSeg的GUI软件工具来半自动生成地面真值。该工具允许用户通过手动选择与目标植物结构相对应的、预先计算的K-means颜色簇来高效标注图像区域。对于颜色特征与植物区域相似而无法通过颜色聚类分离的背景结构，则使用KMSeg提供的手动区域掩膜和清理功能进行排除。每张图像的标注过程大约需要1-5分钟。

2. 深度学习模型开发与训练：

   • 模型架构： 研究采用了U-Net这一经典的编码器-解码器（Encoder-Decoder）架构作为基础框架，并进行了针对性改进以优化植物图像分割任务。主要改进包括：1) 在每个卷积层后加入批量归一化（Batch Normalization），以提高网络性能和稳定性；2) 移除了原始U-Net中的Dropout层，因为研究发现其与批量归一化结合可能导致性能下降；3) 使用了更大的卷积核尺寸（7x7 vs. 原始3x3），以更好地捕捉大范围的连接模式；4) 考虑到输入图像块尺寸较小（256x256），将网络深度调整为3层（原始为4层）。编码器部分通过卷积和最大池化（Max-pooling）逐步提取和下采样特征；解码器部分则通过转置卷积（Transposed Convolution）进行上采样，并与编码器对应层的特征图进行拼接，以恢复空间细节并精确定位。
   • 训练策略： 模型在Python 3.8环境下使用TensorFlow和Keras API构建。训练时，原始高分辨率图像被零填充（Zero-padding）后裁剪成256x256大小的非重叠图像块（patches）进行输入，这种方法既可以利用大量数据在消费级GPU上训练，又能保留高频信息，有利于学习局部特征。数据集按85:15的比例划分为训练集和验证集。模型使用Adam优化器，以二元交叉熵（Binary Cross-Entropy）作为损失函数进行优化。学习率初始设为0.001，并采用动态调度策略（如果验证损失连续5次迭代未改善，则学习率乘以0.2），以避免过早收敛到次优解或过拟合。每个数据集的模型均采用相同的参数配置进行独立训练。

3. 性能评估与比较：

   • 评估指标： 采用戴斯系数（Dice Coefficient, DC）作为主要评估指标，其值范围0-1，1表示完美分割。DC衡量预测分割与地面真值之间的重叠面积，对前景和背景像素的错误给予同等权重，非常适合评估植物结构分割的连续性。
   • 对比方法： 为了验证所提模型的有效性，研究进行了两项关键比较：1) 与近期发表的浅层神经网络（Shallow Neural Network）方法（Adams et al., 2020）对比，该方法基于像素的3x3邻域信息进行分类；2) 与采用不同编码器主干网络（VGG19, ResNet50, Xception）的U-Net变体进行对比，以评估模型复杂度和性能的平衡。

4. 软件工具集成与表型提取：

   • 为了便于终端用户使用，研究团队在MATLAB 2021a环境中开发了具有图形用户界面（GUI）的DeepShoot软件。该软件集成了在Python中训练好的U-Net模型（以.h5格式导入），实现了从图像导入、自动分割到表型性状计算的完整流程。用户可选择预训练的模型（针对不同植物和视角），并可自定义感兴趣区域（ROI）。分割后，软件自动计算35个地上部性状，分为面积、边界框性状、凸包面积和统计颜色特征四大类。

三、 主要结果

1. 模型训练与验证表现：

   • 所有六个模型（三种植物 x 两种视角）在训练100个周期后均表现出良好的收敛性。训练损失（交叉熵损失）在约60个周期后趋于平稳并降至很低水平。所有模型的训练和验证戴斯系数（DC）均达到90%以上，表明模型在训练集和验证集上都具有很高的分割精度。具体而言，拟南芥和玉米模型的损失值较低，而大麦模型的损失值稍高，这归因于大麦叶片颜色变异更大（如黄叶、褐叶）。侧视图图像的分割难度普遍高于顶视图，这与侧视图中植物结构更复杂、易受遮挡和光照影响有关。

2. 测试图像分割效果：

   • 在独立的测试图像上，所有模型均取得了优异的性能。例如，拟南芥顶视图、大麦侧视图、玉米顶视图等测试图像的DC均超过0.96。即使对于更具挑战性的拟南芥侧视图测试图像，DC也达到了0.9117。模型还能成功分割未在训练集中出现的变异数据，如胁迫实验图像和多个托盘实验图像，DC分别达到0.9664和0.9873，显示了良好的泛化能力。

3. 在公开参考数据集上的交叉验证：

   • 为了进一步验证模型的泛化性，研究将仅在LemnaTec数据上训练的拟南芥顶视图模型，直接应用于一个公开的、广泛使用的参考数据集（Scharr et al., 2016）。该数据集具有不同的背景。模型在100张单托盘图像和27张多托盘图像上分别取得了平均0.93和0.95的DC，再次证明了其对于不同背景和实验设置的鲁棒性。

4. 与浅层神经网络方法的比较：

   • 在拟南芥、大麦、玉米侧视图图像的对比测试中，本研究提出的U-Net模型性能显著且稳定地优于浅层神经网络方法。U-Net在所有测试图像上的DC均大于0.9，而浅层神经网络的DC则在0.5到0.8之间波动，尤其是在颜色变异大的大麦图像上表现不佳。这凸显了CNN能够自动学习多层次特征（如颜色、空间模式、纹理）的优势，而浅层网络仅依赖于有限的邻域像素信息。此外，在计算效率上，U-Net模型处理单张图像仅需数秒（如7.2秒处理一张2百万像素图像），而浅层神经网络需要数小时（如20,410秒），显示出巨大的速度优势。

5. 不同U-Net编码器主干的比较：

   • 与更复杂的编码器主干（如VGG19, ResNet50, Xception）相比，本研究提出的轻量级U-Net在保持高精度（验证损失约0.0033）的同时，模型参数量（约248万）远少于VGG19（约2478万）、ResNet50（约1505万）和Xception（约558万）。更深、更复杂的网络（如ResNet50和Xception）在本任务上出现了过拟合迹象（验证损失更高且波动）。这表明，对于当前任务，一个复杂度适中的定制化U-Net架构能够在精度和效率之间取得最佳平衡。

四、 研究结论与价值

本研究成功开发并验证了DeepShoot，一个基于预训练U-Net深度学习模型的、用户友好的GUI软件工具，用于温室植物地上部图像的自动分割和表型分析。

• 科学价值： 该研究为高通量植物表型分析中的图像分割瓶颈问题提供了一个高效、准确的解决方案。它证明了经过针对性改进的深度学习模型，能够有效处理植物表型图像中存在的巨大光学变异性，实现跨物种、跨视角、跨发育阶段的高精度分割，显著超越了传统方法和浅层学习模型。研究还通过详尽的对比实验，为选择适合植物图像分割的深度学习模型架构提供了实证依据。
• 应用价值： DeepShoot工具将先进的深度学习算法封装成易于操作的软件，极大降低了植物学家和表型组学研究人员使用该技术的门槛。用户无需具备高级编程或机器学习技能，即可对大量图像进行批量处理，自动获取多达35个定量表型性状，从而加速植物遗传学、育种学和生理学的研究进程。该工具主要基于三种植物训练，但研究表明，只要目标植物结构在光学特性上相似，该工具也可应用于其他植物物种的图像分析。

五、 研究亮点

1. 高精度与强泛化能力： 所开发的深度学习模型在多种植物、不同视角、不同发育阶段以及不同表型平台获取的图像上，平均分割精度超过90%，并且在未见过的公开数据集和胁迫实验图像上表现良好，展现了出色的鲁棒性和泛化能力。
2. 超越现有方法： 在精度和速度上均显著优于最新的浅层神经网络分割方法，并且与更复杂的深度网络主干相比，在保持高性能的同时大幅降低了模型复杂度和计算成本。
3. 用户导向的软件实现： 不仅提出了算法，更重要的是开发了具备图形界面的、可直接使用的软件工具（DeepShoot），实现了从算法研究到实际应用的转化，切实推动了深度学习在植物表型领域的落地。
4. 系统性的方法学比较： 研究不仅展示了自身模型的性能，还系统地与代表性前沿方法进行了对比，并从模型架构复杂度角度进行了深入分析，使结论更具说服力和参考价值。

六、 其他有价值内容

研究还讨论了当前工具的局限性及未来改进方向。例如，对于非常细薄或扭曲的叶片、花朵，以及阴影严重或高反光区域，分割仍可能出现错误。模型精度和通用性的进一步提升，可以通过扩展训练数据集来实现，特别是纳入更多表现出非绿色（如褐色、黄色、红色）的胁迫或衰老表型图像。此外，未来工作可探索自动检测植物种类和成像视角的功能，以及定量评估二分类与多类别分割模型的性能。这些讨论为后续研究指明了方向。