强化学习包含了策略评价与策略寻优两个方面的问题,其中策略评价问题在机器学习中又称为预测学习过程,而策略寻优即策略优化问题在机器学习中又被称为控制学习过程,通过正确、成熟的策略评价以及策略迭代技术可实现控制学习,并最终实现最优控制。本文课题分别就策略评价算法以及策略寻优算法两方面展开研究:策略评价方面,针对基于最小二乘函数逼近时序差分算法的快速性以及输出精度和稳定性上进行进一步改善。首先,针对在强化学习问题中基于极限学习机(Extreme learning machine,ELM)的最小二乘时序差分学习算法计算效率低的问题,本文提出采用具有单抑制特性的Softplus激活函数代替传统的Sigmoid函数,用以减少算法计算量。其次,针对传统ELM输入层权值随机的不稳定性问题,在学习过程中加入正则化因子,有效地克服了值函数逼近器的过拟合问题,从而更好地估计值函数真实值。然后,针对样本利用率,加入了资格迹方法,提出基于改进ELM的最小二乘时序差分算法(Least-squares temporal difference learning algorithm based on improvedextreme learning machine,IELM-LSTD)。同时,为了进一步提高计算速度,从算法复杂度角度出发,将递推方法引入到IELM-LSTD算法中,消去最小二乘中的矩阵求逆过程,形成递归最小二乘算法,提出基于改进ELM的递归最小二乘时序差分算法(recursive least-squares temporal difference learning algorithm based on improved extreme learning machine,IELM-RLSTD),有效降低了算法复杂度并提高了在线计算速度。通过广义Hop-word实验以及倒立摆实验,验证了所提算法在计算速度和稳定性上的提高。策略优化方面,在改善策略评价算法的基础上,结合传统的策略迭代技术,提出了基于改进ELM的最小二乘Q(λ)策略寻优算法(Recursive least-squares Q learning algorithm based on improved extreme learning machine,IELM-RLSQ(λ)),除了具有快速性及稳定性外,该算法对Q函数值进行逼近,相比于传统Q(λ)算法,本算法替代了采用表格存储Q值的方法,用以解决更复杂的环境问题。以RPG游戏中寻路过程为实验模型,进行路径策略寻优,实验表明,所提算法在成功解决躲避障碍物问题基础上,实现了最优路径的快速搜索,通过与Q(λ)算法和LSQ(λ)算法的比较,证明了所提算法在学习速率和寻优效果上的提升。