论文部分内容阅读
可见光图像是外部光源照射拍摄物体表面经反射得到,而热红外图像却由拍摄目标自身发出的红外光波所形成的图像,所以红外相机能在黑夜无光源环境下有效成像。因此,对热红外图像进行语义分割,可以实现全天时全天候的图像分析和理解。热红外图像本质是对拍摄物体及其周围环境温度场的表示,具有低分辨率、弱对比度、弱纹理、轮廓信息不显著等特点。直接使用基于可见光的语义分割算法不能很好地处理热红外图像。本文就如何解决热红外语义分割问题展开相关研究,不仅取得了良好的分割精度而且满足实时运行要求。本文主要研究成果包含以下三个方面:第一,提出了一种基于门机制的边缘引导网络,实现精准的热红外图像语义分割。针对热红外图像存在的弱轮廓,弱对比度等问题,将边缘信息作为先验知识,设计边缘引导模块,使得网络更好地分割目标。由于额外引入的边缘信息可能存在噪声,干扰分割结果,所以又增加门机制抑制噪声。该方法在热红外图像语义分割数据集SODA取得良好结果,证明其有效性和先进性。此外还在可见光数据集验证并取得良好精度,证明该方法同样适用于可见光数据。第二,建立一个热红外图像语义分割数据集。由于缺乏有效公共的热红外图像语义分割数据集,本文制作一个热红外图像语义分割数据集“Segmenting Object in Day And night”简称“SODA”,并公开提供学术界研究使用。该数据集包含精心标注的图像和虚拟生成的图像。其中精心标注的数据集包含20种常见类别,采集的图像来自多角度的校园场景。由于人工采集和标注数据的工作量大且繁琐,本文还使用图像转换算法,将现有公开的可见光图像语义分割数据集转换成模拟热红外模态图像。最终SODA数据集包含两部分,一部分手工标注数据集,另一部分是算法合成数据集。第三,提出了基于MobileNetv2的实时热红外图像语义分割网络。尽管深度卷积神经网络虽然可以取得良好的分割结果,但其参数量大,测试时间长,若部署在移动终端无法满足低存储以及实时的要求。因此,本文选择MobileNetv2作为轻量级主干网络,在大幅减少计算参数的同时提取的特征具有良好的判别性。为了进一步减少参数量,在热红外图像语义分割的最后阶段,改进分割头结构,提出轻量级多感受野头结构。最后在热红外图像语义分割数据集SODA的实验表明所提出的方法虽然在精准度上略微降低,但达到了实时的运行速度以及低参数量效果。