随着汽车的普及以及工业互联网、5G等技术飞速的发展,自动驾驶技术的研究越来越炙手可热,实现自动驾驶的核心即为根据当前车辆状态迅速做出正确的决策,而深度强化学习（Deep Reinforcement Learning,DRL）正是由智能体与环境交互,反馈获得奖励,再做出下一步的动作决策,循环往复,最终实现自主决策的目标。本文将深度强化学习算法应用于自动驾驶控制决策的研究中,并用TORCS仿真平台对改进的深度强化学习算法进行验证。主要工作如下:首先针对近端策略优化算法（Proximal Policy Optimization,PPO）在训练时稳定性差以及难以收敛等缺陷。本文分析了自适应散度的（KL-PPO）算法中由于KL散度其不对称性从而影响了KL-PPO策略更新的稳定性。为了解决这种不对称性所带来的负面影响,提出一种基于相关熵诱导度量的近端策略优化算法（Correntropy Induced Metric,CIM-PPO）。通过相关熵理论的度量方法,更加能够表征新旧策略的差异,从而更为准确的进行策略更新,进而改善了不对称性带来的影响。然后针对PPO算法在训练过程中对经验回放体中的经验样本是随机采样的,存在收敛速度慢等缺陷。本文研究了经验回放以及优先级轨迹回放,重新设计基于奖励的优先级运算。同时为了防止过高的方差,提出了具有截断的重要性采样的优先级轨迹回放机制（Prioritized Trajectory Replay,PTR）改进CIM-PPO算法。为了加快获取更多组的轨迹经验,采用Learner-Actor架构,并行与多组环境进行交互,加快历史经验的采样效率。该算法通过采样优先级高的轨迹经验学习从而提高收敛速度,并用Open AI平台的多个实验以及多种对比算法进行实验,测试改进后算法的有效性。最后,将改进的深度强化学习算法应用在自动驾驶控制决策任务的车道保持任务中,用TORCS仿真环境进行实验。通过对实验结果的各个指标进行分析,验证了上述改进算法在自动驾驶控制决策车辆保持任务中的有效性。