本文以RoboCup3D足球仿真比赛环境为平台,主要研究了南京邮电大学Apollo3D团队有关足球机器人个体技术和多智能体团队协作对抗策略。先后实现了单个智能体的全向行走技术、机器人之间的协作定位技术以及多智能体团队协作对抗策略。本文的研究内容主要有以下三点:(1)首先,描述了仿真足球机器人队伍——Apollo3D全向行走动作的设计。提出一种基于双线性倒立摆模型、零力矩点(ZMP)以及躯干陀螺仪提供的信息来预测控制机器人的步行运动,然后利用CMA-ES学习算法对步行参数进行分层学习,通过设计奖惩函数和训练任务达到最好的优化效果,全面提升了机器人行走、转弯和带球的灵活度和稳定性,最终实现了复杂环境中双足机器人快速稳定的全向行走。(2)其次,针对RoboCup3D仿真中双足机器人单个机器人定位,即在陀螺仪定位,三个标志杆定位及粒子滤波定位前提下,提出一种基于改进粒子群优化(PSO)算法的机器人协作定位方法。该方法将Apollo3D队伍之前用到的粒子滤波定位算法与PSO优化算法相结合,通过PSO优化算法对足球机器人速度和位置信息进行更新,同时还利用了足球机器人之间的相互观测量,调整粒子的建议分布及其权值。针对机器人绑架模式,设计sloww和fastw两个参数来跟踪粒子权重平均值的长期和短期的变化,最终实现了机器人之间的协作定位。(3)最后,提出一种基于keepaway强化学习的多智能体协作策略。Keepaway3 vs.2是由Peter Stone提出的一种局部战术策略,该策略运用在2D仿真比赛中。本文在此基础上建立3D仿真中的Keepaway训练模型,并将线性函数近似的Sarsa(?)学习算法运用到该训练模型中,实现机器人协作对抗最优策略分配,包括传球(PASS)、跑位(GETOPEN)等策略。