城镇驾驶任务是当前最具有发展前景的领域之一,它具有非常大的商业价值与科研价值。模仿学习是解决该任务的一种主流方法,但是其需要大量带标签的训练数据。同时为了使车辆具有处理极端情况（比如车辆即将发生碰撞）的能力,需要大量极端情况下的训练数据,这需要大量的人力物力且困难重重。但强化学习利用奖励机制让车辆在环境中进行探索学习所以不需要任何带标签的训练数据,并且强化学习能够利用神经网络进行策略和价值估计的拟合并感知理解环境状态,从而实现端到端的自动驾驶和导航控制。由于强化学习使用奖励机制进行学习,这种奖励信号相比于直接对动作的监督信号而言非常弱,且高维度的环境观测会限制经验池的容量,所以强化学习方法难以学习规模大参数多的神经网络。此外,对学习具有更重要作用的经验数据比如车辆即将发生碰撞,在交叉路口需要转向等数据在智能体与环境交互产生的总数据中占比非常低,这导致了智能体长时间无法学习到关键策略。针对该任务中强化学习难以学习复杂网络的问题,本文将条件赋能方法引入强化学习中。通过预先训练对环境观测的降维编码器,将降维结果作为条件赋能信息并融合其他具有先验知识的离散状态的条件赋能信息作为强化学习算法的输入,降低了城镇驾驶任务的环境观测信息的复杂度,增加了经验池的容量,并使得强化学习算法只需要学习规模较小的网络。实验结果表明基于条件赋能的强化学习方法能够有效降低学习难度,并且在该任务中基于价值迭代的强化学习方法在训练难度与收敛速度上比基于策略梯度的强化学习方法有显著优势。针对高效经验数据占比非常低导致长时间无法学习到关键策略的问题,本文提出利用分布式优先级经验回放增加智能体与环境交互产生的数据的多样性。并基于数据聚合的方法,根据车辆所处任务类型以及当前策略表现进行关键状态的采集并赋予合适的优先级,从关键状态集中进行经验采样用于强化学习训练。实验结果显示该方法在仅利用单目摄像头的自动驾驶测试基准上超过了已有的强化学习方法并接近成功率最高的模仿学习方法。在最困难的驾驶情景中泛化能力超过了目前最好的模仿学习方法,并且碰撞和闯红灯次数更少,驾驶安全性更高。