近年来,深度学习技术得到快速发展,计算机视觉与农业领域结合引起学者们的广泛关注。神经网络在复杂场景下对农业图像的识别成为一个热门研究课题。如今在农业的发展中,杂草和害虫对农作物的产量和质量影响依旧巨大,致使农业发展缓慢。因此,快速且准确识别杂草叶片数目和害虫更有利于解决上述问题,对农业领域其他相关研究有着良好的应用价值。本文分析了深度学习技术及其在农业领域应用的研究现状,结合不同的农业领域图像,以神经网络理论为基础,主要的工作内容如下:（1）缓解数据集分布不均衡和数量较少的问题。本文使用的Leaf-Counting数据集具有类别不均衡问题,为了使数据集分布更均衡合理,采用过采样的方法对数量少的类别进行样本扩充,同时创建Leaf-Counting-B数据集进行额外的补充。并为复杂场景下害虫分类创建Pests-D数据集。对本文实验使用的数据集进行数据处理,包括图像裁剪和图像归一化,并选用了旋转、翻折、添加噪声等数据增强方式进行进一步的样本扩充,有效避免数据量过少带来的过拟合问题。（2）提出一种改进的Vision Transformer杂草叶片数目分类模型。由于对图像直接硬性分块容易造成图像信息丢失,使得模型对整体图像信息不敏感,从而导致模型准确率较低等问题。针对以上问题,本文结合卷积神经网络模型的层次化结构,提出了CNN-Stem模块,并基于Vision Transformer模型构建一种新的网络模型,命名为C＿Vi T。通过消融实验验证模型改进的有效性,并通过参数搜索实验为模型寻找合适的网络超参数。经实验验证,改进的网络模型在Leaf-Counting数据集的准确率提升到74.05%,比Vision Transformer模型提升1.20%,相较于Inception-V3模型提升3.98%。（3）提出基于集成学习的害虫分类模型。由于单一模型在害虫分类过程中存在因特征提取不充分或特征丢失造成害虫误检等问题。针对以上问题,为弥补单一模型学习能力的不足,通过排列组合的方式对Goog Le Net、Res Net、Vi T、Pi T这四个网络模型中的两个或两个以上进行集成学习,并用于害虫分类任务。将各模型保留特征提取部分,接入新的分类结构模块,使用迁移学习方法对网络模型进行再训练,最终使用集成学习方法对不同模型进行集成。经实验验证,通过集成学习后的模型分类准确率普遍要高于各单一模型,并且模型鲁棒性更强。