基于图像的植物表型分析对加速植物育种至关重要。计算机视觉和机器学习技术已被广泛应用于作物生化和生理表型的高通量、无损精确预测，如植被覆盖度、植物生物量、株高以及作物的生物/非生物胁迫抗性。然而，在田间实际生产环境下，光照条件的变化、植物与杂草的重叠以及植物结构的复杂性等都是计算机视觉在基于图像的植物表型识别与应用的主要挑战。此外，对于植物表型动态变化的量化，如植物对不同环境胁迫的瞬态响应等量化动力学特性，通常需要构建高时空分辨率的大规模图像数据集，对数据集的分析和处理需要复杂的机器学习算法来提供准确和高效的图像处理能力。因此，本研究旨在为基于图像的植物表型相关研究开发一种可靠、自动化且高效的RGB图像处理算法。
　　为了实现本研究目标，在浙江大学农业研究站开展了大规模油菜试验。传统的机器学习算法和深度学习技术被成功用于解决植物表型相关的计算机视觉问题。在野外条件下自动植物表型分析中，最具挑战性的任务之一是图像颜色校正。为了实现颜色校准过程完全自动化，开发了一个基于深度学习的框架，结合了k-means算法来生成颜色一致的图像，并将X-Rite公司提供的测量值和标准值之间的颜色差异降至最低。将提出的方法与基于统计的方法进行了比较；我们的深度学习框架在颜色校准方面提供了最先进的性能，并且提供了16.23ΔΕ的颜色误差。结果显示，所提出的模型可用于实时应用（校准时间小于0.15s/每幅图像）。
　　第二个挑战是田间图像分割。为了解决这一问题，论文选用了k-均值、高斯混合模型、模糊c-均值和人工神经网络-自组织映射等无监督机器学习分类器对从图像中对目标植物进行有效分割。结果显示，通过将遗传算法与从不同颜色模型中提取的最高颜色特征相结合，提高了无监督机器学习分类器的分类性能。结果也表明，改进的无监督学习模型能够有效地实现图像中植物与背景的自动分离。其中SOM算法的分割精度最高（96%），所采用的超级颜色特征优于传统颜色特征，对光照条件的变化表型出较强的鲁棒性。
　　针对图像分割中高密度杂草背景干扰问题，本研究提出了一种高效、前沿的深度学习方法。论文利用了预训练卷积神经网络（CNN）的潜力，研究了不同的训练场景下的分割效果，包括采用网络权重微调以及仅通过CNN进行特征提取，即所谓的迁移学习。在以上所有训练场景下均显示了在高杂草图像中分离目标作物的优越性能。然而，研究表明，从零开始对CNN进行充分的训练是不可行的，因为这通常需要大量的带标记的图像数据集，并且需要很高的运算能力。结果表明，对预先训练好的CNN进行微调是最佳的训练方案，可以减少训练数据集规模并缩短训练时间。事实上，使用支持向量机从微调模型中提取的特征，可使整体分割精度达到96%，单幅图像的分割时间小于0.05s。因此，最后研究的训练场景可以合理地用于在野外条件下的实时应用，并且可以与各种基于机器视觉的植物表型应用相结合实现对复杂背景下目标作物的有效识别。
　　在两年田间试验期间内采集了不同生育期的RGB图像，构建了基于深度学习的动态模型实现了对油菜营养状况的诊断。首先，实现了对油菜冠层图像的颜色校正。其次，利用已有的深度学习图像分割方法对图像中的油菜进行了油菜目标识别。此外，还研究了不同CNN架构（如AlexNet、VGG、SquezeNet、ResNet18、ResNet101和Inception）从序列图像数据集中提取隐藏的代表性特征的能力，然后将这些特征引入长短期记忆（LSTM）中，根据植物的营养状况对其进行分类。通过传统手工设计的特征替换深度学习提取的特征研究了深度学习特征对研究的贡献，同时，忽略了时间信息，用传统的多类支持向量机（MCSVM）代替了动态模型（LSTM），进一步验证了LSTM的优越性。研究表明，图像深度特征与LSTM的结合，能较好地区分不同养分水平的作物。在不同的模型结构中，通过Inceptionv3-LSTM可以获得92.14%-95.37%的分类准确率。该网络架构在一个独立的图像数据集上测试表现出强大的泛化能力，总体精度达到95.37%。
　　本研究介绍了高通量植物表型分析领域中处理RGB图像最先进的机器学习和计算机视觉方法，并论证了这些方法在野外生产条件下监测植物营养状况的适用性。展望未来，需要更深入的研究将这些模型与相关平台进行集成应用到田间实时生产中。