随着“工业4.0”时代的到来,意味着未来加工制造公司的高度集成、智能自动化以及灵活性,世界制造工厂将加快实现智能,高效地产品制造,更加符合市场的需求。目前,国内外大小型机器人公司纷纷推出了一系列具有机器视觉的工业自动化机器人。虽然国内目前的研发技术无法和欧美等发达国家相比,但针对几十年前的工业状况已经取得了质的飞跃。根据中国的市场需求,研究具有机器视觉的工业自动化机器人具有非常大的价值。本文提出了一种在Windows和Linux共同开发环境下,基于机器视觉的多种工件分拣系统,系统地进行了理论研究分析和实验验证。首先结合硬件系统和软件系统的设计,描述了机械臂控制系统的的总体方案设计和视觉模块的平台搭建,介绍了opencv视觉加速包和Qt跨平台应用程序开发框架,并详细讲解了基于modbus协议和tcp/ip协议的网络通信设计方案和实现方法。然后对机器视觉模块进行了详细的介绍,包括机器视觉平台的整体方案设计的概述和图像采集系统部件的选型,并对工业相机的精度进行了理论分析和校准,完成了高度标定和相机畸变矫正实验。然后本文随后,利用图像处理算法提取与识别静态状态下的工件。首先对图像进行增强、灰度化处理、噪声去除、最大类间方差法阈值分割、图像边缘提取等处理,然后利用最小二乘椭圆拟合算子计算出工件的重心坐标,并提取出旋转矢量。接着利用端到端的改进卷积神经网络,在网络内部将工件图像分块,对所有的块分别进行卷积网络计算后,再加权融合成一个输出值,根据损失函数最小化对网络参数W和b进行迭代更新,从而实现工件的分类处理。最后,对工件轮廓主特征点坐标进行提取,通过特征点跟踪能够得到工件运动的速度和加速度,并可以对目标将来出现的位置进行预测,为将来实现机械臂抓取动态工件作好理论基础准备。