部分可观测环境下的智能体规划问题是人工智能领域的热点问题。要解决此类问题,一般需要先进行系统建模,之后再基于模型进行规划求解。部分可观测马尔科夫决策过程(Partially Observable Markov Decision Process,POMDP)模型是当前的主流建模方法。但是POMDP模型难以直接通过学习获得,这也导致了与之相关的大部分研究工作都需要将其设为确定己知的。即使针对模型不确定情况提出的BA-POMDP(Bayes-Adaptive POMDP)模型,也需要较多的先验知识才能保证最终效果。然而事先直接拥有准确系统模型或大量的先验知识是不现实的。预测状态表示(Predictive State Representation,PSR)模型作为部分可观测环境问题的另一种建模方法,完全基于可观测量进行建模,可以在无任何先验知识的情况下直接通过与环境的交互学习获得系统模型。然而目前关于如何使用PSR模型进行规划的研究还相对较少。基于PSR模型的优势,本文对无先验知识的部分可观测环境规划问题展开研究,主要工作和贡献包括以下几个方面:(1)蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)算法是一种有效的规划算法。本文首先结合离线学习的PSR模型与MCTS算法对无先验知识的部分可观测环境规划问题进行解决。由于原始PSR模型不包含系统奖励信息,并不能很好地应用到规划问题中。本文对原始PSR模型做出了相应改进,通过将奖励信息作为观测的一部分进行处理以解决这一问题。在此基础上,本文接着根据PSR模型的结构特点,对MCTS算法做出调整,将PSR模型应用到MCTS算法中,并提出了 PSR-MCTS算法。该算法的基本思想是首先通过训练数据离线学习系统的PSR模型,之后再将所得模型与MCTS算法相结合进行规划求解。(2)基于离线模型的规划算法不能有效利用规划过程中获得的数据,造成了数据的浪费,并且需要一次性存储大量的离线数据。在训练数据获取难度较大的情况下,需要尽量根据现有知识做出有效的决策,并同时利用决策过程中获得的数据对当前算法继续进行改进。基于在线谱方法能够对PSR模型进行在线学习更新的特点,本文对PSR-MCTS算法做出进一步改进,提出了 PSR-MCTS-Online算法用于解决无先验知识条件下的部分可观测环境在线学习规划问题。该算法可以在规划过程可以继续改善算法效果,实现了从零开始的在线学习规划。