在实际的机器人焊接自动化应用过程中,焊缝跟踪和熔池监控是两个急需解决的关键问题,在已有的视觉传感技术研究中,目前能够成熟商业化的产品主要是用在焊缝跟踪上,其技术被国外的少数几家公司所垄断,价格十分昂贵,无法有效地推广应用。另外,由于激光视觉传感器无法准确地获取焊接熔池图像信息,无法在熔透控制中使用。因此,开发一款实用、价格便宜、性能优越、具有完全自主知识产权的能够同时实现这两种功能的视觉传感系统显得尤为重要,尤其是对打破国外技术壁垒,实现国产化,降低价格,完善机器人焊接智能化技术的研究具有重要的意义。本文利用激光主动视觉和被动视觉相结合的方法,采用单机双目的方式,利用3D打印成形技术,自主开发了一款实用新型视觉传感系统,利用一个传感器能同时采集焊缝激光扫描信息和焊接熔池动态图像信息,并搭建了一套能同时具备焊缝跟踪和熔池监测功能机器人焊接系统。利用该主被动视觉传感系统,在焊缝跟踪控制研究中针对复杂的焊接工况,研究了基于Hessian矩阵的Steger焊缝图像处理方法,准确地提取出了机器人GMAW焊接过程中的激光条纹中心线和焊缝的特征值,并针对典型的V型坡口焊缝进行了焊缝跟踪精度验证实验,其焊缝跟踪水平方向的最大误差为0.68mm,平均误差为0.22mm,焊缝成形良好,其精度基本满足机器人实际焊接需求。焊接熔池的实时监控,一直是激光视觉传感器的短板,本文利用所研制的主被动视觉传感器,分别采集了典型的机器人GTAW和GMAW焊接过程熔池图像,并利用深度卷积网络Mask-RCNN对熔池图像进行处理,准确地提取出了熔池的边缘,得到了正面熔宽、半熔长等几何参数,这对熔池的背面熔宽预测至关重要。实时采集和处理焊接过程熔池图像,其目的是对熔池的背面熔宽进行预测,本文引入了具有代表性的多重线性回归、支持向量回归算法以及XGboost算法分别对熔池样本进行了预测建模。结果表明,基于XGBoost算法的背面熔宽预测模型的平均相对误差最小,为6.62%,其精度高于其它两种算法,本文选择XGboost算法作为该主被动视觉传感系统焊缝背面熔宽的预测模型。