强化学习是机器学习研究中一个重要的方向,是智能体通过与环境交互来学习如何行为的方法。强化学习过程是一个以寻找最优策略为最终目标的过程。策略评价是对策略好坏的评定,是强化学习重要的研究内容之一。一般策略评价算法是基于值函数进行的。值函数通常是通过线性参数化的值函数逼近器估计的。以往的函数逼近方法仅仅通过调节网络权值来改进近似精度,而没有考虑网络中基函数的参数。事实上,值函数逼近器的基函数对算法的性能也有很大的影响。一般来说,基函数中的中心点可以根据所要解决的问题确定,而基函数的宽度则较难选择,经常要经过多次实验,通过经验设定。本研究利用神经网络结构来实现强化学习算法,使网络中基函数的宽度可以自适应选取,论文的主要研究内容包括:1、提出了一种基函数自适应的带有梯度修正作用的强化学习网络算法。在本算法中,值函数逼近器中的基函数的参数(主要是指基函数的宽度)是自动调节直到最优的。其中时域差分误差和值函数由函数逼近器和带有梯度修正作用的递推最小二乘时域差分算法进行估计。同时,时域差分误差反传来更新值函数逼近器的参数,也就是网络权值和基函数宽度。这样就可以通过一个自适应的方法,使算法在学习的过程中逐渐达到最优的性能。实验证明,该方法无论在策略评价还是策略迭代方面都有较好的性能。在策略评价时,本算法可以较精确地对值函数进行近似。在策略迭代时,也就是解决学习控制问题时,本算法相比于传统的算法可更快更稳定地找到最优策略。2、提出一种基函数自适应的增量式的强化学习网络算法,进一步说明本课题提出的网络结构实现强化学习的可行性。本算法利用神经网络的结构来对值函数和时域差分误差进行估计,而时域差分误差又反传到网络的基函数中调节宽度,同时更新网络权值。其中时域差分误差和值函数由函数逼近器和增量式最小二乘时域差分算法进行估计。这样,通过依次调节网络的参数,逐步优化网络,直到近似的性能达到最优。这时,利用最优的网络来进行策略评价和策略迭代。仿真实验证明,该算法在策略评价和策略迭代两方面都有较好的性能,同时每步的计算时间大大减少。