蔬菜可以提供人体所必需的多种维生素和矿物质,是人们日常饮食中必不可少的食物之一。随着世界范围内蔬菜种植面积和种类的增加,病害的种类和发生频次也在持续增多,病害的传播严重影响了蔬菜的质量和产量,给人们的食品安全造成了潜在威胁。病害防治的前提是能够及时准确地对病害类型进行辨识。由于不同病害之间的受害症状呈现模糊性、复杂性和相似性,大部分蔬菜种植者很难精确识别病害类别。因此,如何在实际生产环境下快速、便捷、准确地识别病害,做到蔬菜病害的早期识别和及时防治对农业生产食品安全、高产和生态环境保护具有重要意义。在蔬菜病害识别中,单一模态的数据往往存在信息的局限性,不能完整描述病害的特征。相比于单一模态的数据学习,不同模态数据可从多个角度描述病害特征,通过融合表征学习,形成信息互补,从而更加完整的表达病害特征,提高病害识别的准确率。本文利用病害图像和描述文本两种模态数据,以大宗蔬菜作物番茄和黄瓜为研究对象。利用病害图像和病害描述文本两种模态信息对蔬菜病害识别的方法进行了深入研究。本文的主要工作可以总结如下:在多模态场景下提出了图像与文本融合的双向跨模态蔬菜病害识别模型,该模型由病斑区域检测器和病害分类器两个部分组成,首先利用病斑检测器在病害图像上提取到病斑区域,然后将病斑区域和病害描述文本两种模态信息通过病害分类器识别病害类别,病害分类器可以建立图像模态与文本模态特征间的信息交互,融合多模态特征的相关性和互补性,从而提高病害诊断模型准确性和鲁棒性。考虑到在实际生产环境下的蔬菜病害识别,并不是所有情况下多种模态的数据都是同时存在的,针对模态缺失场景下的病害识别提出了多模态自适应的蔬菜病害识别模型,该模型可以做到自适应根据输入模态信息识别病害,在模态缺失场景下可以保证单模态识别模型的性能。在多模态场景下该模型不仅可以做到学习各自模态的特征,而且可以建立跨模态间的信息交互,通过挖掘跨模态特征映射的复杂关系,学习到更多的分类特征,进一步提高模型的性能。