在传统的炼钢流水线上,环境温度过高,工作环境恶劣,人工完成覆盖剂料袋投放作业需要穿戴专业、厚重的高温防护服,穿戴极为不便,影响覆盖剂投放效率。覆盖剂料袋投放任务行为相对简单,但在炼钢流水线上需要多次重复性的投放,且需要保持可控时、控量,急需构建自动化覆盖剂料袋抓取投放系统。本文主要围绕形变料袋抓取投放任务,基于单目图像,对恶劣炼钢工况环境下如何有效识别及定位形变覆盖剂料袋进行研究。考虑形变料袋识别及定位流程的精确性与实时性,本文设计了一种基于目标单边缘点局部仿射模板的匹配方法和搜索策略,在快速识别形变料袋的同时,保证了料袋识别和水平定位的精度;设计了多层感知器网络和多尺度全卷积残差网络,分别提取单点局部特征和全局图像特征,通过训练实现了单个形变料袋抓取深度的估计。本文的主要研究内容如下:1.针对炼钢现场光照变化强烈、料袋包装不严密导致的覆盖剂粉末泄露、料袋堆放和堆垛运输导致的料袋散乱和形变问题,设计了基于边缘特征模板的形变覆盖剂料袋识别及水平定位算法。在传统的模板平移匹配过程中,改进了单边缘点匹配的相似性度量准则,用单边缘点的k最近边缘点集合作为单个边缘点的刚性表征,在匹配过程中建立单边缘点集合的仿射变换模板来完成单点相似性度量。同时,设计了与该方法相对应的图像金字塔搜索策略,在保证旋转和尺度变换情况下形变料袋精确匹配的同时,减少了匹配耗时。2.针对形变料袋深度估计的需求,提出了基于单点局部特征的多层感知器网络和基于全局彩色图像特征的多尺度全卷积残差网络。多层感知器网络构建了单关键点局部特征与自身深度的非线性模型,采用SIFT结合RANSAC的方法提取了料袋表面多个关键点,通过Law~′s掩膜和krisch方向算子提取关键点局部区域特征补充构建了特征向量,最终依据多层感知器网络的深度估计结果重构了形变料袋表面,从而获得了形变料袋的抓取信息。同时,只采用卷积层和池化层,结合残差模块设计了由粗到精的全卷积残差网络,通过提取输入彩色堆垛图像的全局特征,输出对应深度图像,基于上采样模块,加入快捷连接,设计了改进的上投影模块,降低了网络参数数量,实现了与输入图像同分辨率的深度图像估计。基于估计的深度图像,结合形变料袋识别及水平定位结果和区域生长算法完成单个料袋区域图像的提取,最终实现了单个料袋的深度估计。3.采集了大量炼钢流水线现场覆盖剂堆垛图片,分别设计了基于模板匹配的形变覆盖剂料袋识别及水平定位实验和基于单目视觉的形变覆盖剂料袋深度估计实验。完成了对单个和多个形变料袋目标的识别及水平定位。利用Kinect采集堆垛数据,建立了实际环境下的形变料袋深度数据集,通过网络训练完成了单个形变料袋的深度估计,估计值均方根误差约为3mm。综上所述,针对形变覆盖剂料袋的全自动抓取投放作业任务,本文提出了一种基于单目视觉的形变料袋识别及定位方法。在没有人为干预的情况下,能够有效应对实际炼钢工况环境下光照变化、料袋遮挡、特征污损、料袋形变等问题,给料袋抓取投放作业提供可靠数据。