山核桃营养价值丰富,是皖南山区重要的经济作物,但其内壁结构复杂,在破壳取仁的过程中,难以保持果仁的完整性,为了更有效的保持果仁的完整,降低果仁损伤,需要对一次破壳后的山核桃物料进行分类后再加工,降低仁损伤,提高深加工水平。通过对一次破壳后的物料进行除尘、筛选之后,将初次破壳物料细分为5类:较完整壳仁未分、露仁、未破壳山核桃、壳、不完整壳仁未分,为了研究方便,在本文中将A、B、C、D、E分别设为对应类别的标签。在研究中引入深度学习的方法结合计算机视觉,对破壳后山核桃混合物料进行分类。本文主要工作总结如下:（1）首先对包含单个类别山核桃破壳物料的图像进行简单的分类研究,制作一个图像采集平台,采集5类样本图像1713张,对图像进行预处理、数据增强,生成15000张图片制作图像分类的数据集。基于VGG16网络构建分类模型,对数据集进行训练、测试,结果表明卷积神经网络在对破壳物料分类中准确率能达到99.5%。（2）对包含多个物料的图像进行检测,通过Label Img软件对图像进行标注,制作目标检测数据集,构建SSD和YOLOv4两种基于回归的目标检测模型,对模型进行训练和测试,测试模型对物料的检测效果,两个模型的m AP值分别为96%和97.1%,从m AP值可以看出,两个模型在平均检测精度上差别不大,但是对于各个类别的检测精度,特别是不完整壳仁未分物料的检测效果,YOLOv4检测效果更好,因此确定YOLOv4作为在线识别分选的模型。（3）根据在线识别分选流程,确定气吹的方式作为物料分离方式,确定分选识别系统整体方案,并且设计系统整体机构,包括传送带、主机、电气柜、摄像头、电磁阀等,对主要元器件选型。将训练好的模型加载到在线识别分选平台,分别进行静态识别试验和动态分选试验,静态识别率为95.6%,动态分选率为91.4%实现了较好的分选效果。