多智能体系统的协调和协作机制,是目前人工智能研究的重点领域之一。多智能体系统的广泛应用决定了研究其协调协作机制有很大的现实意义。本文以机器人足球比赛为背景,研究基于Markov决策过程(MDP)理论的多智能体协调和协作机制,完成的主要研究成果如下：首先在一类通信条件良好的集中式控制方式下,基于任务层次分解的决策框架,结合博弈论的有关概念和方法,提出了一种基于效用函数预测的在线策略规划算法。在FIRA2D仿真组比赛平台上的实验结果表明,该算法能够进行合理的行为选择,实现良好的团队合作效果。其次,针对一类感知和通信受限的分布式大规模决策问题,应用基于MAXQ值函数分解的任务层次分解方法,提出了一种在线策略求解算法,MAXQ-RTP算法。该算法设计了一种充分利用问题域受限的感知和通信资源的多智能体决策系统框架,基于与或图表示可行策略,在线实时地求解当前状态下的最优策略,可用于解决连续状态空间和动作空间的决策规划问题。论文的主体实验工作在分布式控制的RoboCup2D仿真组比赛平台上进行。通过对智能体有限感知和通信、决策系统规模等特点的分析,采用基于MAXQ值函数分解的MDP任务层次分解方法对球员智能体的决策问题进行建模,通过MAXQ-RTP算法在线求解智能体的最优策略。实验结果表明,该方法有较高的计算效率,通过协同决策使球队取胜的效果良好。由于使用MDP模型进行球员智能体建模中对队友和对手策略的简化处理,上述MAXQ-RTP算法有可能丢失一些最优对策。下一步的研究工作主要是将模型扩展到对策论框架中,结合队友和对手的可能策略,求解最优对策。