自动驾驶或称无人驾驶可以有效增强行车安全,提高交通效率,已经成为全球发展趋势。现有的驾驶策略主要基于人工设计的规则和模型,难以应对复杂场景或者突发事故。而深度强化学习是目前人工智能领域的一个前沿研究方向,是一种目标导向的自主学习方法,在许多复杂任务上都取得惊人的成绩,被认为是通往通用人工智能的关键技术。本文的研究目的是在虚拟环境的基础上,使用深度强化学习算法来学习更加智能的驾驶策略,辅助现实场景中的自动驾驶车辆训练测试。本文的主要研究内容如下。首先,本文基于已有的无人车虚拟仿真平台,搭建了一个虚拟环境,用于强化学习训练。该虚拟环境在Open AI Gym环境的基础上实现通用性的接口,能够模拟现实场景中复杂的交通状况。其次,在SAC算法的基础上,本文提出了基于双经验池的SAC算法（Dual Buffer Soft Actor-Critic,DBSAC）。接着,针对自动驾驶任务,本文构建了以深度强化学习为核心的自主学习框架。在该框架下,本文设计了深度强化学习的状态空间、动作空间、奖励函数和神经网络结构。本文设计的车辆自注意力神经网络结构,使用了多头自注意力机制和编码器-解码器架构。最后,本文在虚拟仿真环境的基础上,合理设计了两种自动驾驶场景:直行场景和无保护交叉路口场景,并进行了相应的实验和分析。本文在实验过程中统计了相应的量化指标,结果表明:在两种场景下,基于该自主学习框架均能学习到有效的策略,完成对应场景的任务,并且表现优于传统驾驶策略;在两种场景下,DBSAC算法的收敛速度均优于原SAC算法;在无保护交叉路口场景下,使用车辆自注意力网络一方面加快了策略的收敛速度,另一方面提高了策略的表现水平。