强化学习是一种无监督的机器学习技术,能够利用不确定的环境奖赏发现最优的行为序列,实现动态环境下的在线学习,因此被广泛用于Agent的智能决策。Q学习算法是目前主流的强化学习算法之一,但Q学习本身存在一些问题。首先,Q学习算法没有充分利用学习过程中的经验知识,致使算法收敛速度较慢;其次,Q学习算法不能适用于连续状态空间和动作空间的学习,虽然模糊强化学习算法可以在一定程度上解决此问题,但是由于模糊隶属函数的选取是建立在主观经验的基础上的,缺乏对求解问题的真实描述。本文针对RoboCup中的具体问题,结合其它学习方法对Q学习算法进行了一些扩充和改进,使其适用于复杂环境下的Agent智能决策。本文的主要研究工作如下:(1)在Q学习算法的基础上,通过对agent所处环境的学习,使其有效利用先前学习到的模型知识重新指导Q学习,减小搜索空间,从而节约时间,提高学习的收敛速度。并将这个算法应用于RoboCup的射门问题中,实现了射门问题的优化。(2)在模糊Q学习基础上,在模糊隶属函数的选择时利用遗传算法进行选择,使模糊划分更准确有效,实验结合RoboCup中的踢球问题,并和基本的模糊Q学习算法进行了比较,实验结果证明了算法的有效性。