本文将超轻度混合动力汽车作为研究对象,以提高整车燃油经济性和维持电池能量全局平衡为目的,基于强化学习方法,研究了混合动力系统智能化控制方法。从模型是否已知的角度,分别研究了基于模型已知（随机动态规划）和模型未知（Q学习算法）的强化学习能量管理策略。主要开展了以下几方面的工作:（1）在阐述超轻度混合动力汽车整车结构的基础上,分析了四种工作模式和其所对应的能量传递路线,构建动力系统关键部件的模型,为后续车辆控制策略的研究和仿真验证奠定基础。（2）阐述了随机动态规划方法基本原理,分析了策略迭代算法的计算流程。以整车燃油经济性最佳为目标,建立以车速v、电池荷电状态SOC、需求功率Preq为状态变量,电动机转矩Tm为控制变量的优化模型,制定了基于随机动态规划的能量管理策略。以WLTP循环工况为仿真工况,并基于随机动态规划控制策略构建了整车仿真模型,该仿真结果与动态规划方法的仿真结果进行了对比。（3）阐述了Q学习算法的基本原理,分析了等效因子的内涵,制定了基于Q学习恒等效因子能量管理策略。以WLTP循环工况为仿真工况,并基于Q学习算法构建了整车仿真模型,该仿真结果与随机动态规划控制策略的仿真结果进行了对比。（4）基于恒等效因子Q学习控制策略理论,将等效因子离散化,构建了初始等效因子优化模型。在确保电池能量全局平衡的前提下,以整车燃油经济性最佳为目标,提出了状态能量空间化方法。该方法将状态能量从时间域转换到空间域,通过状态能量空间化的转化结果,获得了参考消耗能量。以参考消耗能量为约束,建立了基于状态能量空间化的等效因子修正模型,并制定了基于状态能量空间化的等效因子离线优化控制策略。将KL离散率与状态能量空间化方法结合,提出了基于状态能量空间化的自适应等效因子控制策略,该控制策略能够适应各种实际工况。并以重庆市渝北区某段路况为实际工况,构建了基于状态能量空间化的整车仿真模型,该仿真结果与Q学习等效因子控制策略的仿真结果进行了对比。