强化学习是一种无监督学习方法，它能够使智能体在环境模型未知的情况下利用环境奖赏发现最优的行为序列，因此被广泛用于多智能体系统中（如RoboCup足球仿真系统）。目前主流的强化学习算法是Q学习算法，Q学习算法的应用能够大大改善系统的性能，但Q学习也存在不如人意的地方。本论文针对Q学习算法的学习速度慢这一问题进行了深入的探讨，提出结合启发知识函数的Q学习算法，改进了标准Q学习算法的效果。本文主要内容如下： 首先，简要介绍了本课题的研究内容、目的意义、国内外发展状况和研究方法等，针对机器学习是人工智能领域研究的热点，及在多智能体系统的广泛应用。对比分析了机器学习的各种学习策略，阐述了它们的基本原理、结构、分类和适合应用的系统环境。结合RoboCup仿真系统的特点，我们最终选择强化学习作为改善我们球队协作策略的主要算法。然后，论文阐述了强化学习理论的原理、组成要素和分类。对比分析了强化学习四种算法的学习原理、结构特点和适用对象。基于我们仿真球队的实际情况，横向比较了几种强化学习应用于球队协作策略的效果，选择以Q学习算法为本文的主要改进算法。 其次，针对标准Q学习算法学习速度慢的缺点，本文提出一种基于启发知识的改进型Q学习算法，该算法在标准的Q学习算法中加入具有启发知识的函数来影响学习过程中智能体动作选择，从而加快了智能体在复杂环境中的学习速度。然后，提出了一种具有启发知识的并行Q学习算法，在该算法中，参与学习的各智能体独立的执行基于启发知识的Q学习算法的同时，智能体通过交流学习成果、融合启发知识、共享学习结果，提高整个多智能体系统的学习效率。 最后，论文利用Matlab仿真验证了启发式Q学习算法的有效性并给出了两个实例。实例中的智能体能够通过学习快速的选择动作，其学习速度和决策判断的准确度比标准Q学习算法都有明显的提高。我们将启发式Q学习算法应用于RoboCup仿真球队中，并与应用了标准Q学习算法的球队进行比赛。结果显示，启发式Q学习算法的球队队员协作能力远远强于标准Q学习算法的球队。相比较于标准的Q学习算法，智能体通过启发式Q学习可以更快的学习到正确的动作决策，从而有效的提高了智能体的学习速度，对仿真球队高层协作策略的有效执行有很大的帮助，提高了球队的综合水平。