蔬菜产业持续稳定发展是惠民生、保稳定和促和谐的重大民心工程。随着我国种植结构调整的不断深入,蔬菜已成为我国的第一农产品。蔬菜病害的爆发容易导致大规模的减产降质,造成不可挽回的经济损失。传统的蔬菜病害的诊断往往需要经验丰富的田间工作者或植保专家实地观察蔬菜作物的染病情况,存在速度慢、主观性强、误判率高等问题,难以适应病害快速防治的实时性与准确性要求。结合深度学习的蔬菜病害图像识别具有快速、精确、实时等特点,相较于传统人工诊断和识别方法具有无法比拟的优越性,已经成为现代蔬菜产业的迫切要求和发展趋势。蔬菜病害图像识别在单一背景图像下获得成功,在单一背景图像数据集中识别准确率可以超过95%,但是在开放环境（复杂背景）下,识别精度会大大降低,无法满足实际应用需求。其主要原因:一是由于在病害图像中存在一些背景信息（比如土壤、地膜、水管等）,导致病害特征信息提取困难;二是模型仅依靠图像单一模态的数据无法获取病害更丰富的特征信息,而且病害知识无法得到有效利用,致使模型可解释性差。本文针对上述问题,分别构建了基于区域建议和渐进学习的复杂背景蔬菜病害识别模型和基于知识的图像-文本双模态开放环境蔬菜病害识别模型,本文的主要工作总结如下:（1）构建开放环境下蔬菜叶部病害图像数据集与病害描述数据集首先针对现有数据集的背景复杂程度制定了蔬菜叶部病害数据分级标准,共分为三级,其次本文按照第二级别标准采集了番茄和黄瓜两种作物的6种病害叶部图像和各自的健康叶部图像,然后由5名植保专家根据病害发生症状进行人工描述,构成病害描述文本数据集,最终构成病害图像-文本对数据集。（2）构建基于区域建议和渐进学习的复杂背景蔬菜病害识别模型首先该模型在区域建议网络的基础上可以将病叶图像中兴趣区域进行定位,将定位后的部件以一个放大的裁剪区域作为输入,进入下一个更细尺度的网络中进行渐进式学习。其次模型中的区域建议部分,能够以弱监督的方式引导模型对包含复杂背景的病害图像中兴趣区域进行关注,从而避免使用人工对图像重点区域进行标注产生的昂贵代价。最终渐进式学习网络结构可以促使模型以逐级递进的方式由粗到细地学习全局特征和局部细微特征。（3）构建基于知识的图像-文本双模态开放环境蔬菜病害识别模型首先,针对现有模型多模态信息利用不足的问题,研究病害图像与病害描述文本的语义分布式向量表示方法,利用两种模态病害信息间的相关性和互补性,联合两种模态的病害特征共同进行学习。其次,针对病害可信识别和可解释性的要求,研究病害领域知识表示及知识嵌入机制,将高层次领域知识图作为图像特征学习和病害识别的外源指导。最终实现双模态的联合利用。