焊接智能化是工业领域中的一个重点研究领域,其目的是让机器学习焊接工人的思维。将深度学习运用到智能焊接领域,虽然国内外已经有相关研究,但是还是缺乏一定的普适性。基于此,本文针对焊接中熔池图像和电弧光谱的应用展开研究,并将深度学习网络运用到焊接领域中,取得了良好的效果。本文的主要研究内容如下:(1)基于熔池图像和电弧光谱的焊接稳定性监测。针对现有熔池图像采集主要集中在单一波段的缺陷,本文通过分析熔池自身辐射和电弧光谱辐射的分布,设计了一套双光路成像系统,从而拍摄到清晰的、弧光干扰小的双波段熔池图像。对双波段图像分别进行自适应分割,合并后得到准确的熔池轮廓并以此为基础训练改进型Lenet网络模型,实现对焊速的监测。同时研制了一套基于哈达玛编码的瞬态光谱仪,从而获得更大视场范围内高信噪比的电弧光谱数据,并以此为基础训练得到网络深度优化Lenet的模型,实现对保护气流量的准确检测。(2)基于多源特征融合的焊接稳定性监测。针对现有焊接监测网络只能处理单源数据而无法处理多源数据的缺陷,建立了熔池图像和电弧光谱进行特征融合的网络模型。通过一定的评估准则,评估了提出的两种多输入网络构型的优劣性,选择了对图像和光谱数据适应性较好的网络构型。在此基础上进一步优化基础网络,提高网络整体性能。通过与单特征监测方法的对比表明,融合型网络在识别率等方面与单输入网络模型相比有很大优势。针对焊接监测的实时性要求,使用TensorRT引擎对其进行速度优化,在Jetson TX2平台上实现了实时处理。