车载热成像语义分割是计算机视觉领域的一个研究热点,为自动驾驶或高级辅助驾驶提供了重要的技术支持。目前基于神经网络的语义分割模型大多关注RGB图像,而RGB图像通常反映光照条件较好的场景,难以表现夜间、雾天等场景。与RGB图像不同,热成像是基于热辐射获得成像图像,不受光照影响,可部署于任何场景及任何时间段。但热成像图像纹理信息较少,训练/测试数据匮乏,车载场景复杂多变,实现车载热成像语义分割面临多重挑战。基于深度卷积神经网络,结合车载热成像的数据集状况和图像特点,本文的主要工作包括以下三个部分:1)构建车载热成像语义分割数据集,应对热成像语义分割训练/测试数据集匮乏。以保持数据的多样性、挑战性为基本目标,所构建的数据集包含38万帧图像,挑选了多个路段、多种场景共2500张图片,制定规范对图片进行图像级、语义级、实例级标注,并对标注数据的类别分布、实例中心点分布、尺度情况进行了详尽的统计分析。2)热成像图像相对模糊,借助上下文信息及边缘信息利于高效分割,已有的深度神经网络上下文特征及边缘特征表征能力不充分。本文设计了一种多级特征修正网络,该网络通过一种多级连接的方式,一步步修正上下文特征的聚合过程,避免噪音信息的引入,同时融合边缘特征到网络中。实验表明,该网络能够达到更优的分割精度。3)车载图像中目标具有客观位置规律,热成像图像存在较多的难学习像素点。现今的深度神经网络并未有效利用位置信息,同时未对难学习像素点进行显式处理。本文提出了一种新颖的特征金字塔融合网络,该网络可通过位置编码方式增强特征图的位置信息,同时以在线学习的方式对难学习像素点进行显式处理,多个数据集上的验证实验表明,该网络能够显著提高车载热成像的分割性能。