随着社会经济和科学技术的持续发展,道路交通问题逐渐成为日常生活关注的热点。我国社会建设科技发展至今,人民对出行提出了更高的要求。为解决交通资源的合理利用、交通拥堵以及车辆行驶安全等问题,我国在2011年提出了车路协同的概念。若能将人工智能领域的先进成果与汽车产业、道路建设与通信、互联网等领域进行深度融合,则会对我们建设现代化车路协同道路产生重要价值。因此,本文在研究强化学习基础上对车路协同系统中的路径规划问题进行研究。针对车路协同系统中未知环境的全局与局部路径规划问题,分别提出了改进的回溯型Q学习算法和多层经验AC算法。本文主要工作和创新点如下:(1)研究分析目前国内外强化学习和路径规划领域的现状,梳理各个算法优势及发展脉络。引入强化学习方法为智能体策略方法提供理论基础和策略设计基础,引入演员评论家框架作为本文策略方法的研究基础,引入全局路径规划和局部路径规划概念将车路协同系统中的路径规划问题进行分解,并分别对两种情况进行算法改进优化。(2)分析传统强化学习和路径规划算法原理,提出一种在Q-Learning算法的基础上针对静态未知环境下的全局路径规划问题的改进的回溯型Q学习算法,引入经验回放以及经验池机制提高算法的收敛速度,以快速得到最优价值函数和最优策略。在设计的地图上对Q-Learning算法、SARSA算法以及改进的回溯型Q学习算法进行对比验证,通过累计奖励、成功率和每轮运行时间三个指标展现智能体在路径规划上的效果,实验表明该算法能够使智能体更快收敛以找到最优策略和最优路径。(3)在演员-评论家框架上引入异步框架、独立目标网络及经验回放思想提出一种多层经验AC算法。在模拟软件CARLA的内置地图上进行训练验证,通过奖励函数图,成功率以及碰撞率指标评估算法的可行性。仿真实验表明改进的多层经验AC算法可以有效的解决单智能体未知环境下的端到端局部路径规划问题,与其他深度强化学习算法相比具有更好的表现。