随着汽车行业的发展,无人驾驶汽车成为新的研究热点之一。无人驾驶汽车具有辅助驾驶或自主驾驶功能,不仅能给消费者提供更好的驾驶体验,还能提高行车安全性,缓解交通拥堵问题。无人驾驶汽车由环境感知系统、决策系统、控制系统组成,环境感知系统负责收集车辆周围的道路环境信息,因此环境感知系统的性能对于行车安全至关重要。其中视觉环境感知系统是无人驾驶环境感知系统的重要组成部分,因此研究无人驾驶视觉环境感知算法具有重要意义。本文基于深度学习方法,对无人驾驶视觉任务中的目标检测和语义分割算法进行了改进研究,并在此研究的基础上,提出一种多任务网络AMTNet,能同时完成目标检测、可行驶区域分割和车道线检测任务。具体研究内容可概括成以下几个方面:首先,对现有的无人驾驶的目标检测算法进行了一定的研究,并在YOLOv5的基础上,搭建了本文的无人驾驶目标检测网络。对网络中的CSP模块做出了改进,取消其中的一个卷积模块,使用CBS模块替换另一个卷积模块,并调整输出层的顺序,减少了计算量。使用BDD100K数据集对网络进行训练和验证,改进后的网络在13类交通目标的平均检测精度上有所提升。其次,对现有的无人驾驶语义分割算法进行研究和对比,并依据DeepLabv3+的结构设计了本文的无人驾驶语义分割算法。将主干网络替换成更轻量化的MobileNetv2,并加入了辅助损失分支用于优化网络训练。使用Cityscapes数据集对网络进行了训练和验证,实验表明,所改进网络在保证精度的基础上,对检测实时性有较大的提升,因此在精度和实时性上取得了较好的平衡。最后,在前面所研究内容的基础上,提出了一种适用于无人驾驶视觉环境感知的多任务网络AMTNet。使用编码器和解码器结构搭建网络,同时完成目标检测、可行驶区域分割和车道线检测任务,并使用BDD100K数据集对AMTNet网络进行了端到端的训练和验证。由于多任务网络共享几种任务之间的共性,因此网络在三种任务上的性能都有所提升,并提高了网络的实时性。实验表明,AMTNet在性能和实时性上都取得了优异的表现。