随着控制论及计算机技术的发展,分布式人工智能中多智能体系统的理论及相关的应用研究已成为人工智能和智能控制研究的热点。机器人足球比赛是一项旨在提高诸多相关领域的研究水平而举行的国际大型比赛和学术活动,是研究分布式人工智能、智能控制和机器人技术的绝好平台。机器人足球比赛的环境是一个动态、复杂、对抗的环境,并且每个机器人只能得到场上的不完全信息,如何使机器人能通过不断地学习提高自己的性能是开发足球机器人系统的关键内容。本文主要研究强化学习技术在机器人足球中的实现问题。首先,针对机器人足球比赛的环境的复杂性和状态空间的庞大,对已有的基于CMAC神经网络的Q学习泛化学习算法,引入了信度分配的概念,把基于空间的信度分配和基于时间的信度分配同时融合到CMAC-Q学习算法当中,提高了强化学习的速度。其次,对近年来从分层强化学习中发展出来的option算法,结合内在激励思想,尝试性地将其应用到机器人足球中的踢球技术、截球技术和配合技术中去。实验表明,这种算法能够提高球队的决策能力。