RoboCup机器人世界杯赛是近年来规模最大并且参与人数最多的高智能机器人足球比赛,其中仿真2D组比赛更是RoboCup世界杯中最古老的比赛项目之一,其中的多agent智能系统协作问题也是当前最热门的研究方向之一。它为研究人员提供了一个标准的比赛平台、命令和动作接口。RoboCup联盟期望通过提供这样的一个标准问题,鼓励研究人员通过各种技术手段来获得人工智能和MAS(Multi-agent System,多智能体系统)方面的解决方案,并且可以通过该平台进行测试和实践。在RoboCup联盟提供比赛平台的基础上,各个学校和研究机构开始研究学习算法,使得每个agent具有一定的学习能力,这样才能保证在比赛中球队能立于不败之地,其中Q学习是最广泛采用的学习算法之一。本文在Q学习基础上对球队的改进如下：1、采用随机对策的决策过程来代替单agent的马尔可夫决策过程以解决MDP决策过程不能对球场的状态变化有很好的反应的问题2、根据随机对策的内容将复杂的球场环境分成三种情况分别讨论(自己控球,我方控球和对方控球),并确定每种情况对应不同的状态-动作对。3、通过对球场的精确划分和采用相应的补充控制方法,来对Q学习中的关键参数奖赏值进行计算以确保奖赏值的连续性和单调性,同时根据此参数和改进的算法来更新Q值使得机器人的学习效果更好。实验证明,通过对局部范围内的机器人都采用此算法,可以让球员间在局部范围内的协作能力有明显的加强,从而使球队的整体攻防能力有所加强,但是受到计算机硬件、软件和计算能力的限制,无法对全局agent都采用此算法,否则无法保证比赛的实时性。在此理论基础上实现的安徽大学DreamWing2D队伍在RoboCup中国公开赛仿真2D组中获得的成绩证明了此算法的可行性。