随着人工智能时代的到来,传统的工业机器人逐渐发展成为具有相应场景感知功能的智能机器人,工业机器人结合图像处理技术已经成为不可阻挡的发展趋势。而在工业生产线的一些场景中,人工分拣零件效率低下,利用计算机视觉技术识别零件的技术成了一个十分有价值的研究方向,视觉机器人利用相应的视觉系统识别出相应的工件,然后再驱动机械臂进行抓取,大大提高了生产效率。所以,在零件的装配、分拣、焊接等工业生产过程中,对零件的图像识别研究就变得十分有意义。本文结合机器人和图像处理的技术,提出基于机械臂的三维立体多目标图像识别系统。首先根据系统的实际工作场景对硬件进行选型,然后对机械臂的独立关节控制进行分析,在刚体动力学理论基础上,设计出前馈补偿的嵌套PD控制器,并使用MATLAB Simulink模块进行仿真,对比增加前馈补偿前后其跟踪误差大大降低,为后面的机器人精确抓取打下了基础。设计双目视觉系统使用MATLAB工具箱进行标定,得到左右相机的内外参和结构参数,并使用Bouguet算法进行视觉系统进行立体校正,校正后实现左右图像的共面对准。由于传统的零件检测技术需要设计手工特征,算法鲁棒性差,所以使用深度卷积神经网络技术进行零件识别。整个算法基于SSD框架进行改进,增加特征融合模块将深层特征和浅层特征结合起来,加强对小目标的检测,并加入k-means自学习候选框,并设置对比实验。实验结果表明,改进的SSD算法平均检测精度达到97.11%,相比原算法提高8.35%,检测速度达到26.46fps,达到实时效果。对于遮挡的零件,使用排斥损失技术来解决遮挡问题,并根据遮挡率设置遮挡子集,设计遮挡检测实验。实验表明,增加排斥损失后其mAP提高4.59%,大大增强了对遮挡零件检测的鲁棒性。最后提出基于SSD的立体匹配算法来获取零件深度,使用Io U指标对左右图像的预测框进行粗匹配,然后使用Census立体变换进行精匹配,并设置定位实验,其X,Y,Z方向的误差分别为[-0.11,0.13],[-0.21,0.21],[-0.16,0.22]。满足机器人精确抓取的要求。