多智能体系统日益成为人工智能领域的研究热点。多智能体技术具有自主性、分布性、协调性，并具有自组织能力、学习能力和推理能力。采用多智能体系统解决实际应用问题，具有很强的鲁棒性和可靠性，并具有较高的问题求解效率。 机器人足球是一个多智能体系统的典型问题，又是研究分布式人工智能的理想平台。其中的RoboCup 2D仿真由于仿真环境与人类足球比赛的环境相似，比赛队员仿真模型与实际队员也很接近，实现了机器人比赛中由于机器人硬件的不足而放弃的规则，故其对于分布式人工智能理论的研究具有重要意义。 本文着重对多智能体的强化学习方法进行分析与研究，主要研究工作包括： (1)在RoboCup控球情节基础上，将其映射于强化学习框架，设置强化学习的条件和球员的策略； (2)应用基于tile泛化的多智能体强化学习方法，解决函数估计方法用于强化学习的问题。该方法首先用tile方法对状态空间进行泛化，之后将强化学习的奖励信号存储在tile中作为动作选择的依据，并在RoboCup的控球情节中进行实践，得到了较好的效果； (3)应用基于BP网络的多智能体强化学习方法，将BP网络容入智能体结构，用于状态泛化和智能体交换策略方面的研究。该方法利用强化学习方法的奖励信号作为BP网络的期望输出训练网络，并且利用BP网络的实际输出作为动作选择的依据。为提高BP网络在实时训练中收敛的快速性，使用了Levenberg-Marquardt优化方法对BP算法进行优化。该方法在RoboCup控球情节中得到了较好的效果。