论文部分内容阅读
行人检测是构建自动驾驶系统的核心技术。在全天候复杂的交通环境中,集成可见光与长波红外视觉传感器的车载行人检测系统从理论上来说可具有良好的鲁棒性和准确性,是一种发展潜力巨大的行人检测系统。但实际应用中目前的可见光与长波红外图像行人检测方法在准确率、实时性、可扩展性等方面还很难满足自动驾驶的要求。针对此问题,论文结合国家自然科学基金面上项目“红外热成像信号特征提取和降噪理论及其方法”(51575486)和联合基金项目“机主人辅模式下智能汽车故障诊断、预测与容错控制研究”(U1664264)开展了“可见光与长波红外图像融合的行人检测方法”的研究,围绕图像特征分类、图像特征优化、实时行人检测、跨平台迁移学习等四个方向开展了相关研究工作,主要研究内容如下:针对在目前可见光与长波红外图像行人检测方法中采用的单一分类器在全天候驾驶中无法有效识别在白天和夜间光照环境下存在差异性的行人特征而导致出现大量漏检情况这一问题,研究了基于光照感知机制的多分类器融合方法,以消除光照环境对检测的影响,提升分类能力,降低漏检率,提高行人目标检测准确率。针对目前行人检测方法对于驾驶环境中采集的可见光与长波红外图像背景特征表达能力较弱而导致出现大量误检问题,研究了基于区域监督模块的可见光与长波红外图像背景特征优化学习方法,通过在可见光与长波红外图像行人检测器中增加区域监督模块,优化学习可见光与长波红外图像的背景特征,从而提升深度卷积神经网络对于背景特征的表达能力,降低误检率,提高行人目标检测准确率。针对目前常用的可见光与长波红外图像行人目标检测方法不能满足自动驾驶系统的实时性要求,研究了可见光与长波红外图像行人区域检测器,通过设计多层融合区域检测网络,优化学习可见光与长波红外图像中的小尺度行人特征,可采用低分辨率图像训练和测试深度卷积神经网络,以减少计算工作量,提高检测速度,不仅达到了自动驾驶系统的实时性要求,而且进一步提升了行人区域检测准确率。由于不同的可见光与长波红外图像采集平台在相机参数、安装位置与角度等方面存在差异性,行人检测器在跨平台数据上的检测准确率会大幅度下降。为了在不耗费标注成本的情况下显著提升可见光与长波红外图像行人检测器在跨平台数据集上的检测准确率,研究了可见光与长波红外图像行人区域检测器跨平台无监督迁移方法,将行人区域标注与深度卷积神经网络参数作为优化目标,利用可见光与长波红外图像的标注一致性与特征互补性作为监督信息,实现行人区域检测器无监督迁移学习,提升行人区域检测器在跨平台数据集上的检测准确率。采用可见光和长波红外相机搭建了车载图像采集系统,采集车辆行驶过程的图像数据,建立了跨平台行人数据集。通过在建立的跨平台行人数据集上对行人区域检测器进行无监督迁移学习,验证了所提方法的普适性。