为了检测作物叶片缺素，提出了一种基于神经网络的大豆叶片缺素视觉检测方法。在对大豆缺素叶片进行特征分析后，采用深度学习技术，利用Mask R-CNN模型对固定摄像头采集的叶片图像进行图像分割以去除背景特征，并利用VGG16模型进行缺素分类。首先通过摄像头采集水培大豆叶片图像，对大豆叶片图像进行人工标记，建立大豆叶片图像分割任务的训练集和测试集，通过预训练确定模型的初始参数，并使用较低的学习率训练Mask R-CNN模型，最终训练的模型在测试集上大豆单叶片和复杂多叶片分割任务上马修斯相关系数分别达到了0.847和0.621。通过网络分割叶片并进行人工标记，建立大豆叶片图像分类任务的训练集和测试集。通过预训练确定模型的初始参数，并使用重新训练全连接层的方法训练VGG16模型，最终训练的模型在测试集上的分类准确率为89.42%。在对结果分析时，通过将特征明显的叶片归类为两类缺氮特征和4类缺磷特征，讨论了模型的不足之处。本文算法检测一幅100万像素的图像平均运行时间为0.8s，且对复杂背景下大豆叶片缺素分类有较好的检测效果，可为农业自动化生产中植株缺素情况估计提供技术支持。