自动驾驶领域高速发展,实现完全自动驾驶的方式主要有基于“感知-决策-控制”的方法和基于深度学习与强化学习的机器学习方法。本文针对端到端模仿学习的泛化问题与深度强化学习训练的前期不稳定问题,采用二者相结合的方法,构建了端到端深度强化学习自动驾驶控制模型。该模型具有对环境理解深入、稳定性与泛化性较好的优点。本文的主要研究内容包含:（1）本文深入研究了深度学习与强化学习理论基础,介绍了以演员-评论家框架为基础的PPO算法。在此基础上构建了基于深度强化学习的自动驾驶模型,为建立端到端深度强化学习自动驾驶控制模型的开发打下基础。（2）本文介绍了智能车端到端控制模型输入的状态空间构成,以及状态空间设计的重要性,提出了基于VAE图像特征压缩方法与基于YOLOv4目标检测算法的环境特征提取方法;解决了在自动驾驶任务中强化学习状态空间包含图片这种维度较大的特征导致收敛较慢的问题,以及对图片进行压缩过程中会存在交通灯信息丢失的问题。VAE的编码器结构可以对图片起到压缩的作用,加快强化学习模型收敛,使强化学习模型满足算法实时性的需求。然而,压缩后的隐向量会丢失部分交通环境信息。以交通灯为例,本文使用YOLOv4目标检测算法对这部分环境特征进行提取,在状态空间中补充交通灯特征来解决这一问题。（3）本文建立了一种基于近端策略优化算法的端到端深度强化学习自动驾驶控制理论模型。模型主要分为状态空间特征提取模型、PPO强化学习模型、环境交互模型。PPO强化学习模型可以在环境中不断学习更新策略,以实现自动驾驶任务。通过模仿学习预训练的端到端深度学习网络权重可以用于深度强化学习的演员网络,这样可以防止在训练初期由于网络权重随机初始化造成车辆混乱行驶,探索不到正确动作收敛较慢的情况发生。状态空间特征提取模型是由前文模型整合而成,通过该模型可以输出简洁、完整的环境特征向量。环境交互模型中奖励函数的设计综合考虑了车辆行驶速度与方向、碰撞、车道偏离、交通灯通过情况、全局指示因素的影响,设计了自动驾驶任务综合影响因素的奖励函数,使智能汽车能够快速学习到自动驾驶策略。（4）本文对比了主流的自动驾驶仿真平台,选择CARLA作为本研究方向的自动驾驶仿真平台,并配置了相关的仿真环境。设计了4个难度逐渐增加的自动驾驶任务。通过实验验证了本文端到端强化学习自动驾驶控制模型可以较好地完成上述任务,证明论文中自动驾驶方案的可行性。