近年来,强化学习得到了机器学习研究人员的广泛关注。基于值表的强化学习算法在小规模状态空间的强化学习问题上,不仅得到了优异的实验效果验证,而且获得了完美的收敛性证明。然而,在实际应用中,强化学习算法通常面临大规模或者连续的状态空间,甚至是连续的动作空间(如自动驾驶的转向控制问题)。这使得基于值表的强化学习算法无法存储值表,并且无法遍历整个状态和动作空间。即强化学习算法遭遇了“维度灾难”问题的挑战。通常的解决方法是通过将经典的强化学习算法与函数估计相结合,以增强值函数对状态空间和动作空间的抽象和泛化能力。从函数估计角度,本文的主要工作和取得的创新如下：(1)简要介绍了强化学习的基本模型,综述了基于线性值函数估计的强化学习算法以及基于核方法的强化学习算法。(2)基于线性函数估计的强化学习试图求解一个最小二乘解,其预测误差受界于最优值函数与最优值函数投影后的残差,其中投影函数为Ⅱ=Φ(ΦΤDΦ)-1ΦΤD。可以看出,投影函数与特征函数有密切的关系,也直接影响到预测误差界。对于实际问题,受限于线性值函数的表达能力,当专家知识不足或者特征Φ的定义不够好时,该误差界会变得很大。为了解决该问题,本文提出了基于分段线性基的时间差分学习(Temporal Difference learning with Piecewise Linear Value Function:PLVF-TD)以更进一步的减小误差界。PLVF-TD学习框架有两个过程：对于不同维度的问题建立分段线性基；以及用复杂度为O(n)的时间差分学习算法来学习值函数的参数。经分析,误差界随着分段线性基个数的增加而减小。当分段线性基个数趋向于无穷时,误差界趋向于0。实验结果验证了PLVF-TD算法的有效性。(3)与基于线性函数估计的强化学习不同,根据表达定理,基于核方法的强化学习具备非常强大的表达能力。然而面对现实的强化学习问题,由于精度和复杂度两方面的问题,传统的基于核方法的强化学习算法不能满足在线学习的要求。针对该问题,本文提出了基于核方法的在线选择时间差分学习(Online Selective Kernel-based Temporal Difference:OSKTD)。OSKTD有两个在线过程：在线稀疏化和值函数的参数更新。在线稀疏化中,我们根据选择性集成学习,提出了基于核距离的在线稀疏化方法,其算法复杂度为O(n),比其它稀疏化方法的复杂度都低。在函数的参数更新中,我们根据局部有效性原理,提出了基于核方法的选择性值函数,并根据经典的时间差分学习结合梯度下降方法迭代学习值函数的参数。实验结果验证了OSKTD算法的有效性。(4)现实世界的问题通常是连续的状态空间、连续的动作空间并存的,为了精确控制,连续动作空间问题成为了一个新的研究热点。为了解决该问题,本文结合了Actor-Critic方法在处理连续动作空间的优点以及核方法在处理连续状态空间的优势,提出了基于核方法的连续动作Actor Critic学习算法(Kernel-based Continuous-action Actor Critic Learning:KCACL)。其中,Actor根据奖赏不作为原则更新动作执行的概率,Critic根据OSKTD学习算法更新状态值函数。实验结果验证了KCACL学习算法在求解连续动作空间强化学习问题上的有效性。