构造可以通过决策产生智能行为的智能体可以看作是人工智能现阶段的主要目标之一。各类决策算法使得智能体能够在多个方面近似做出人类可以做出的智能行为。在不确定性环境中,马尔科夫决策过程为智能体决策提供了基本的模型。RoboCup机器人世界杯成立的初衷是为了促进人工智能、机器人等领域的研究和技术的发展。最早成立的RoboCup仿真2D组是其中以智能体决策为重点内容的一个项目。本文以RoboCup仿真2D机器人足球为实验平台,以马尔科夫决策过程相关理论为基础,来描述和处理大规模不确定性环境下的多智能体协作规划问题。本文涉及到的主要工作可以概括为以下三个部分：·本文实现了用于仿真2D比赛场景重现的Trainer和rcsslogplayer的改进,使得针对某个特定场景进行反复训练测试成为可能。由以前单纯使用比赛胜率的方式,改为从特定场景开始反复进行随机测试,其得到的结果更能证明某个方法的效果。·本文引入了MDP的分层分解技术,将其与WrightEagle中的反算技术相结合,并在守门员的决策中应用。通过改进守门员的站位决策,影响对方的传球行为,降低了对方突破我方防线、形成单刀球的威胁。·本文提出了解决多智能体协作问题的MAXQ-MOP方法。MAXQ-MOP以MAXQ-OP算法为基本框架,引入了信念池的概念,使其应用到多个智能体的协作规划问题中。在人墙站位问题和多球员传接球协作的实验中,MAQX-MOP表现出比传统方法更好的效果。本文中所有的工作都是在WrightEagle队上改进实现的。