部分可观测马尔可夫决策过程(POMDP)是一种用于制定序列决策的经典模型。在该模型中,智能体做出动作所产生的效果是不确定的,对环境状态信息的观测也是不完整的。因此,POMDP对于表达智能体在非确定环境下的序列决策问题而言是非常有效的模型。本文对POMDP基本理论进行了深入地研究,并分析了POMDP的复杂度及理论结果,对值迭代算法进行了改进。然后对POMDP模型在机器人导航控制的应用进行了仿真实验,并分析了仿真结果,对仿真实验中出现的问题进行了分析。首先,介绍了当前应用在机器人导航控制领域中的几个经典的智能控制算法,并介绍了本文要研究的POMDP理论的研究现状。然后,详细阐述了部分可观测马尔可夫决策过程(POMDP)的基本理论及数学框架。为了清楚地说明POMDP的基本思想和理论背景,给出了一个循序渐进的理论阐述过程:先详细阐述了MDP理论,然后在MDP的基础上引出了对POMDP模型的定义以及POMDP问题的求解算法。重点研究了POMDP的代表性算法,对其精确求解算法给予了深入的分析,并对值迭代算法进行了改进。最后,给出了POMDP模型实现机器人导航控制任务的各要素设计,应用POMDP模型解决了机器人在各种复杂仿真环境中的导航问题,完成了路径规划任务和环境建模任务。对于处在现实环境中的机器人来说,环境信息的部分可观测性主要表现在机器人通过传感器对环境的感知是否完全。本文在模拟声纳扫描环境的过程中,将声纳对环境信息观测的不确定性用概率的形式表现出来,并将其与POMDP模型的信度状态更新相结合,给出了一种新的控制模式。实验表明,POMDP算法能够在较为复杂的未知环境中有效地解决机器人的导航控制问题。