随着科技的进步,采摘机器人各个部分的系统也日益完善。其中,机器人视觉定位系统的设计很大程度影响了其工作效率,尤其是在目标检测速率、采摘果实的准确率还有对于采摘目标环境的适应度上。本次研究的主要内容是基于卷积神经网络的油茶果定位系统研究。利用双目立体视觉设备采集所需油茶果图像,根据识别目标位置计算深度信息,制作自己的油茶果VOC数据集,采用改进的YOLOv3目标检测算法来实现复杂环境下油茶果果实的识别。最终发现改进的YOLOv3算法具有更高的识别率和更快的识别速度,并通过设计上位机界面,直观展示对油茶果目标的定位功能。传统图像处理方法大多利用特征描述方法获取其颜色、纹理特征完成识别,其在复杂环境下特征提取能力差。针对这一问题,本次研究使用基于深度卷积神经网络的特征提取网络,在复杂的自然采摘环境下,训练后的模型更容易获取目标较完备的图像特征,有着更高的准确率和鲁棒性。通过分析比较了一些经典的卷积神经网络算法结构,根据本此研究目的是检测油茶果目标,本文具体分析比较了R-CNN（Region-convolution neural network）、Fast R-CNN（Fast Region-CNN）、YOLO（You only look once）三种常用目标检测算法的网络结构,最终确定以YOLOv3算法为基础进行适应性改进。针对油茶果这一类目标,提出了三种改进方法:基于网络深度的改进、引入空间金字塔池化层的改进、基于网络训练策越的改进。并通过算法复杂度实验证明了改进后的YOLOv3算法的优势。在油茶果目标采集过程中,为了提高系统鲁棒性,保证样本的完整性和多样性,本次研究使用双目视觉设备在不同时间、角度等环境因素的情况下进行油茶果目标样本信息采集,并使用Label Img图片标注工具对数据集进行标注工作,建立本次研究所需的油茶果VOC数据集。在油茶果检测实验设计中,对改进的YOLOv3算法和原始的YOLOv3算法以及RCNN系列算法进行了准确率、召回率和识别速度上的对比和分析。实验证明改进的YOLOv3算法具有更高的识别效率,且在复杂环境下展示了其算法的优越性。