Robocup机器人足球系统是一个典型的多智能体系统,同时也是一个典型的多智能体协作与竞争系统,它为分布式人工智能的研究提供了一个标准的试验平台。多智能体学习与协作是当今人工智能领域研究的难点与热点,机器人足球系统涉及到多个机器人的协同工作,实时性很强,在这种环境下研究智能体的学习问题和多智能体的协作问题具有很大的挑战。本文以全自主的机器人足球为背景,主要针对智能体学习和多智能体协作两方面进行了深入的研究。 在智能体学习方面,考虑到强化学习算法需要离散化状态空间和行为空间,而机器人足球系统是一个连续的空间,如果对所有变量进行离散必然导致维数灾难,且无法在实际系统中实现。在此基础上设计了改进算法,选择只离散化输入状态,同时将强化学习和在线搜索相结合,该方法提高了搜索速度和踢球动作的成效。 在多智能体协作研究方面,针对机器人足球的动态、不确定环境因素对智能体行为、协作的影响,智能体如何在不确定环境下进行协作就成为一个关键的问题。本文详细论述了三种已经应用到机器人足球上的协作模型和框架,分别探讨了他们的优缺点和可行性。 实验与应用研究表明,本文在智能体学习方面所做的算法结合了强化学习和启发式搜索的优点,将其应用到Robocup仿真比赛中的踢球动作设计,得到了令人满意的效果。