强化学习是机器学习的一个重要分支,它模拟动物学习过程,通过试探的方法修正从状态到动作的映射策略,最终学会在各种环境状态下采取最好的反应行为,从而提高智能系统的自适应性和鲁棒性。尽管强化学习技术已有很多研究成果和应用范例,但是还有许多没有解决的问题,不完全感知问题就是其中一个难点问题。目前对于这类问题一般采用POMDP模型进行求解。但是,由于求解POMDP模型的计算复杂度高,所以只能处理规模较小简单的问题。本文分别在模型优化和算法改进等方面做了一些研究,论文的主要工作如下:首先,在POMDP模型中引入Agent的内部状态,利用学习的历史经验值,提出一种基于内部状态的POMDP强化学习改进模型。通过对实例问题策略的描述,实现了降低策略复杂度和学习随机性的目的。其次,在模型改进的基础上,进一步引入资格迹(the eligibility trace)的思想,并提出了相应的基于策略梯度的近似强化学习算法:PGI-POMDP算法,降低了近似计算的复杂度,提高了Agent学习的效率。最后,把上述思想应用到多Agent系统中,提出了多Agent系统下的策略梯度算法:MIS-GPOMDP算法,实验结果表明学习效率和时间空间开销都有改进。