现实世界中存在大量群体智能行为,如捕食者协同围捕、沙丁鱼洄游、无人机编队系统,这些群体智能行为是自然界和人类社会赖以生存和稳定运行的基础。如何揭示群体智能行为的涌现机理和激发机制,成为近年人工智能领域最具挑战性的科学难题之一。演化博弈论作为行为决策研究的基础理论,为定量刻画群体智能行为中个体行为决策规律、分析预测群体智能行为提供了有效的研究工具,得到了学术界的广泛研究和应用。然而,随着人工智能时代的到来,群体智能行为日趋呈现出复杂多变的特征,传统的演化博弈论已经难以准确刻画动态、时变、非完全信息环境中群体策略的学习、演化规律。因此,如何通过信息科学、网络科学、数据科学等多学科交叉,揭示群体智能行为的动态演化规律是群体智能研究的发展趋势之一。本文以演化博弈论和复杂网络为基础,提出了两种基于混合种群的行为决策模型,主要包括以下两个方面:（1）提出了基于混合决策机制的种群博弈模型。虽然基于策略模仿的演化博弈论和基于强化学习的博弈动力学都可以用复制动力学来建模,但两种动力学的内在机制是完全不同的。我们介绍了一种新的博弈模型,它考虑了这两种动力学的混合。也就是说,一些智能体是演化博弈玩家,而另一些则是强化学习玩家。我们发现合作水平与强化学习智能体的比例有关,呈驼峰形状。这是因为两种智能体在演化过程中扮演着不同的角色。强化学习玩家从环境中学习互惠,并作为促进演化博弈玩家合作的媒介。另一方面,由于背叛不再是主导策略,演化博弈玩家变得更加合作。我们通过对近似方法对混合动力学进行建模,其结果与蒙特卡罗模拟的结果一致。（2）提出了基于网络耦合机制的种群博弈模型。以相互依赖网络的耦合机制为核心,研究了一个由保守驱动的玩家和激进驱动的玩家组成的异质群体的行为决策。保守型驱动的玩家保持稳定的耦合强度,最大限度地减少个人风险,避免过度冒险的个人选择,而激进型驱动的玩家打破刻板印象,自主调节耦合强度以获得高回报。与以往研究合作水平的单调增长不同,该模型显示了种群合作水平与保守玩家密度之间的驼峰关系。此外,在某些情况下,这些异质种群没有适当的竞争,但它们形成战略联盟以获得更好的演化结果。进一步分析表明,耦合强度的极化增强了合作。