对具有外部缺陷的柑橘鲜果进行及时筛除是生产线上的重要环节,可以避免健康柑橘被进一步感染。目前基于外部缺陷的柑橘分选主要依赖人工,费时费力且准确率无法保证。同时,不同类型的缺陷在其外观上会产生不同的特征,开发自动化无损检测方法的难度也较大。在此背景下,本文以生产线上的外部缺陷柑橘为研究对象,基于机器视觉和深度学习技术,探索外部缺陷柑橘的检测、跟踪和轨迹预测方法,实现外部缺陷柑橘的高效、高精度识别,并为机械臂实时抓取提供轨迹引导。本文主要研究内容及结果如下:（1）针对外部缺陷柑橘识别困难、定位不准等问题,利用深度学习强大的特征提取能力,构建了在单帧图像中外部缺陷柑橘的高精度识别和定位方法。首先采用SSD、YOLO-V4、Efficient Det三种目标检测算法分别构建不同的缺陷柑橘检测模型,然后拍摄真实产线场景中柑橘滚动的视频作为数据集,开展模型的训练、验证与评估。最终考虑生产线检测的实时性要求,选择了图像处理速度最快的YOLO-V4模型作为缺陷柑橘检测的研究基础,该模型最终1分数为88.3%,单帧图像平均处理时间为69.9ms。虽然该模型对单帧图像的平均处理速度最快,但仍然不满足生产线分选的实时性要求（单帧图像平均处理时间小于40.0ms）。（2）为满足产线分选缺陷柑橘的实时性要求,对YOLO-V4算法进行了轻量化改进。首先,使用多种轻量级网络（包括Mobilenet-V1、Mobilenet-V2、Mobilenet-V3、Ghostnet、Densenet121）替换YOLO-V4中的主干特征提取网络CSPDarknet53,并比较各改进模型的性能,初步获得了最优改进模型Mobilenet-V2-YOLO-V4。其次,对Mobilenet-V2-YOLO-V4模型中的PANet模块、SPP模块、YOLO head模块进行了模块替换和剪枝等操作,并进行了参数优化试验,最终获得了最优检测模型Mobile-Citrus。试验结果表明,最优检测模型Mobile-Citrus的1分数为84.5%,单帧图像平均处理时间为12.3ms。虽然该模型牺牲了少量的检测精度,但大幅度提高了运算效率,满足生产线分选的实时性要求。（3）由于柑橘在产线上滚动时会呈现不同的特征面,为了收集检测历史信息判断真实类别,需要在柑橘的滚动过程中对其进行跟踪,因此本文在最优检测模型的基础上设计了多种跟踪算法,包括基于Kalman的跟踪算法（Kalman-Tracker）、基于LSTM的跟踪算法（LSTM-Tracker）、基于Transformer的跟踪算法（Transformer-Tracker）。试验结果表明,LSTM-Tracker获得的多目标跟踪精度（MOTA）和多目标跟踪准确度（MOTP）最佳,MOTA为99.4%,MOTP为89.7%;且单帧图像平均处理时间为15.3ms,尽管考虑最优检测模型的处理时间,仍然满足生产线分选的实时性要求。（4）利用机器手在输送机上抓取缺陷的柑橘是柑橘分选的关键步骤,为了预测柑橘的未来路径以指导抓取,本文开发了基于Kalman、LSTM、Transformer的轨迹预测算法,并开展了三种算法的性能验证与评估。试验结果表明,三种轨迹预测算法的轨迹预测误差均较小,都可用于缺陷柑橘轨迹预测并指导机械手执行分选。但当考虑检测及跟踪的处理时间时,仅基于Kalman、LSTM的轨迹预测算法满足柑橘产线分选的实时性要求。其中,基于Kalman的轨迹预测算法效果最佳,轨迹预测平均绝对误差为3.86个像素,约占柑橘直径的6.4%,单帧图像平均处理时间为0.235ms。（5）为了获取集检测、跟踪及轨迹预测功能为一体的产线分选算法,在最优检测模型Mobile-Citrus的基础上,基于Kalman、LSTM、Transformer的三种多目标跟踪及轨迹预测算法分别设计了Mobile-Kalman-Citrus、Mobile-LSTM-Citrus、Mobile-Transformer-Citrus三种产线外部缺陷柑橘分选方法。综合考虑产线分选缺陷柑橘的实时性和分类准确率要求,Mobile-LSTM-Citrus分选算法效果最优,该方法的跟踪性能指标MOTA、MOTP分别为99.4%和89.7%,轨迹预测的平均绝对误差为4.33个像素,平均分类准确率为93.7%,单帧图像平均处理时间为35.3ms,满足产线分选外部缺陷柑橘的准确性与实时性要求。