论文部分内容阅读
在机器人应用领域,许多人工难以胜任的恶劣环境下的操作通常都在夜间无光的情况下进行,机器人的夜间视野范围和场景识别能力直接关系到机器人的任务执行能力。在夜间模式下,通常采用红外成像系统获取夜间场景图像,红外图像具有无色彩、信噪比低、对比度低和缺乏深度感等特点,并且红外图像视场较窄,难以满足需要大视野观测的应用场合。因此研究如何提取和识别红外图像的场景特征信息、扩展红外图像的观测视场并进行场景的三维显示对夜间模式下的机器人视觉具有重要意义。本论文从红外图像的成像特性出发,对红外场景特征识别、红外图像大视场拼接以及三维重建进行研究。主要研究内容分为三个部分:第一部分为基于深度卷积-反卷积神经网络的红外场景特征识别算法;第二部分为基于点特征的红外图像拼接算法以及红外图像大视场拼接算法;第三部分为基于单目红外图像三维重建原理的红外图像大视场三维重建方法。论文的主要创新点有以下几点:1、提出了基于深度卷积-反卷积神经网络的红外场景特征识别算法,构造了基于VGG16的卷积和反卷积层相结合的深度卷积-反卷积神经网络,通过对训练样本进行学习,能够隐式地从训练数据中学习有效的红外场景特征,无需显式的特征提取。训练好的模型能够识别出红外图像中的天空、建筑、树木等9类目标。与现有识别算法进行对比实验,直观上本文算法对红外测试图像的识别效果较好,同时从像素准确率、各类别准确率以及平均IU三个评价标准来看,本文算法准确率均超过对比算法。2、在单目多角度扫描式的场景获取方式下,针对红外图像拼接任务,本文首先研究两幅红外图像的拼接技术,提出了基于点特征算子的红外图像拼接算法,通过相位相关法粗略估计相邻图像的位移量,在重合区域中提取特征点以及特征点匹配,有效缩短匹配时间,提高拼接效率,同时本文采用多分辨率加权融合算法对图像进行拼接合成。然后用以上算法对多幅红外图像进行拼接,针对多幅拼接产生的累积误差,本文提出基于L-M的优化算法,在拼接过程中不断地优化调整红外图像到参考平面的单应性矩阵,提高拼接质量。最后通过实验对多幅红外图像拼接得到了180°的无缝大视场图像。3、本文将红外图像大视场拼接与基于单目红外图像的三维重建方法相结合,采用了基于面板参数马尔可夫场(PP-MRF)的三维重建方法对红外大视场图像进行三维重建,获取了能反映大视场范围内红外场景的空间深度信息的立体显示图像,这对远方指挥操控人员了解整个场景及场景中各目标的位置具有重要意义。