自动驾驶汽车是一种不需要人为操作就能感知其周围的环境及实现导航的轮式机器人。近几年随着机器人技术的不断创新和发展,自动驾驶汽车虽没有完全实现商用化,但关于自动驾驶汽车的设想已经逐渐成为现实,引起了很多有关行车安全性的讨论。夜间由于光线不充足,人们识别周围场景的能力大大降低,自动驾驶汽车的夜间行车安全也越来越受到人们的关注。自动驾驶汽车对于夜间周围场景的识别能力是其能否在夜间安全行驶的关键,因此,研究如何提高自动驾驶汽车对夜视图像的感知能力,对夜间自动驾驶汽车的安全行驶具有重要意义。在白天,普通的摄像机可以轻易地采集到需要利用的图像,然而在夜间,由于光线不充足,普通的可见光成像相机无法胜任这个任务。因此,在夜间通常会采用红外摄像机来采集图像,它与普通的摄像机相比,可以在无光条件下工作,利用不同的物体之间通常具有不同的温度差异,从而形成一幅具有不同的灰度值的图像。由于它特殊的成像机制,在军事、医学和工业等多个领域的应用中均取得了不错的成果。但是,夜视图像也具有可见光图像没有的一些缺点,例如缺乏色彩信息,对比度和信噪比都比较低等。这使得对夜视图像的理解极具挑战。为了增强自动驾驶汽车对夜间周围场景的理解,可以更有效、更准确地预知周围环境的变化并通过通顺的语言将场景的内容表示出来,以便无人车能够及时做出相应的决策,本论文以夜视图像的成像特性为基础,对夜间自动驾驶汽车的场景预测与语义理解进行了深入的研究。本文的主要研究内容包括两个部分:第一部分为基于预测编码网络的夜视图像场景预测算法;第二部分为基于深度卷积神经-长短期记忆网络的夜视图像语义理解算法。论文的主要创新点包括以下两点:1、将深度学习应用于夜视图像的场景预测,采用了一种预测编码网络来预测夜视图像的场景变化,在传统的深度卷积-循环神经网络的基础上,对网络结构进行了一定的调整,将预测图像与实际图像的误差在网络中进行前向传递,不断更新预测误差来调整预测结果。训练得到的场景预测模型,可以预测夜间驾驶场景0.4s后的合理未来图像,且改善了一直以来在长时间预测任务中预测效果不好的问题,预留了足够的时间供无人车及时做出相应的决策。从实验结果上看,本文的夜视图像场景预测方法具备良好的准确性和实时性。2、为了加强自动驾驶汽车在夜间行车时对于预测出的夜视图像的理解,若在行车过程中,通过机器读取夜视图像的内容,并通过通顺的语言将这幅图像的内容表达出来,就可以辅助无人车或者车内人员更好更快地理解预测出的图像所传递的信息。本文提出了一种基于卷积神经-长短期记忆网络的夜视图像语义理解方法,首先通过卷积神经网络提取特征,再通过长短期记忆网络对提取的特征生成相对应的语义理解语句。该网络采用端到端的训练模式,输出与原始夜视图像特征相匹配的概率最大的单词,组成一个语义解释的句子。实验结果证明,该方法具有很好的准确性和实时性。