随着群体智能的广泛应用,多智能体强化学习已成为目前的一个重要研究课题。在多智能体强化学习中,智能体通过强化学习的反馈机制来学习最佳策略。大规模智能体之间的动态交互以及非确定性的环境,导致了多智能体强化学习的复杂性。在学习过程中,很难预测智能体的最佳行为决策。对多智能体系统建立动力学模型,可以定性地洞察系统的演化,帮助理解智能体的行为决策。由于智能体数量带来的计算空间维度爆炸以及动态交互的复杂性,目前的研究主要采用平均场方法来近似智能体的相互作用,将系统中所有智能体的平均策略近似为对手的策略。然而在实际应用场景中,这种近似不一定有效,总体的平均策略和对手的策略存在不同程度的差距。为了更加准确的描述智能体的演化,本文结合博弈论和复杂网络对智能体的局部交互和连接拓扑展开研究,提出两个多智能体强化学习模型:（1）提出了一个基于重复博弈的多智能体Q-Learning学习模型。在包含大量智能体的多智能体系统中,智能体使用对称正则博弈作为交互方式,使用Q-Learning的Boltzmann探索来学习最优策略。通过推导个体的Q值变化量和群体的Q值密度变化,建立了一个动力学方程组来捕捉智能体的学习过程。通过智能体仿真验证,在不同博弈以及不同的参数设置下,本文的动力学模型都可以准确的描述智能体行为的演化进程。在设置不同初始策略的情况下,智能体都能通过学习收敛到纳什均衡策略,验证了模型的稳定性。（2）提出了一个基于随机图的多智能体强化学习博弈模型。在本模型中,智能体之间的连接拓扑用一个图来表示,智能体通过Qlearning算法学习策略。通过理论推导对模型的准确性和泛化能力进行了验证,在不同的连接拓扑下,本文的模型预测的Q学习动力学始终与基于仿真的实际结果相匹配。实验主要研究了规则网络和不规则网络对智能体学习的影响。在规则网络上,所有智能体的度都等于6),6)越小,囚徒困境博弈中的智能体越容易产生合作。在不规则网络中,也发现了相似的结果,整个网络的平均度越小,智能体越容易合作。