自电商诞生以来,快递业务量与日俱增,快递企业亟待提高对快递的分拣能力。在此背景下,本文设计了一种基于视觉的机器人快递分拣系统,专门用于分拣贴有手写快递单的快递包裹。为了实现系统的设计目标,论文主要做了以下几项工作:(1)使用ABB IRB1410工业机器人、单双目摄像机、主控电脑、STM32等硬件构建了机器人分拣系统,并在串口通信和以太网通信的基础上,单独设计了一套通信协议,取得了良好的控制效果。(2)将工业机器人与机器视觉相结合,使得机器人可以定位抓取快递。通过双目标定、立体匹配、三角测量法,系统可以获得快递图像的深度信息,再根据各坐标系之间的映射关系以及手眼标定的结果,计算出快递中心点的图像坐标所对应的机器人坐标,从而驱动机器人正确抓取。(3)从快递图像中提取出了手写地址和电话。首先使用霍夫变换对快递图像进行倾斜校正,再使用OTSU阈值分割、形态学处理、连通域筛选等操作提取出完整的快递单图像。由于手写文本在快递单上的位置是确定的,故可以设置固定ROI区域提取文本,并拆分成一连串字符图片。(4)使用卷积神经网络模型对手写字符进行识别。对于分割出的手写数字图片,本文沿用了经典的LeNet-5模型进行识别,准确率高达99.09%。对于手写汉字识别,本文设计了一套卷积神经网络模型,并从CASIA手写字符库中挑选出所需数据对模型进行训练和测试,经过模型优化,最终获得96.54%的准确率。