复杂系统是由多个(种)相对简单的个体通过复杂的相互作用而形成的整体。复杂系统会在整体层面呈现一种无法还原为个体简单因素的特征或规律，即涌现。例如，自然界中普遍存在的自私个体之间的合作行为。合作者牺牲自身利益而使他人受益，这使得合作行为的涌现与达尔文进化论中的“适者生存”观点相矛盾。因此，合作行为如何在复杂系统中涌现成为当前最具挑战性的科学问题之一。探索复杂系统中合作行为的涌现及个体间的交互机制，有利于设计系统中个体交互的规则并协调系统中所有个体的行为。因此，对复杂系统中群体机器人协同控制、无人机编队控制、无人水下航行器协同控制、以及电力/能源系统优化调度与配置等实际问题具有重要的理论意义和应用价值。博弈论为刻画复杂系统中个体之间的相互作用提供了强有力的工具。在此基础上，演化博弈论的出现为研究复杂系统的演化动力学提供了有效的理论框架。在复杂系统中，个体常常依据某种属性而聚集成群。鉴于此，本文主要基于演化博弈论研究具有群结构的复杂系统中合作行为的演化动力学。具体工作如下：　　首先，研究了区域性合作行为的涌现。本文对个体的群组属性及个体间的交互行为进行建模，并根据固定概率以及摄动方法给出了区域性合作行为涌现的条件。模型中，每个个体或仅属于一个群组或属于任意多个群组。个体的群组属性由对所有个体可见的标签刻画。个体根据博弈对象的群组属性调整自身的行为策略。具有相同群组属性的个体被认为是组内个体并进行囚徒困境博弈；反之则被认为是互为组外个体并进行惩罚博弈。区域性合作者采用对组内个体合作而对组外个体惩罚的策略。研究发现，在没有组间个体交互的情况下，系统中个体聚集成群的行为有利于合作的演化。此外，组间矛盾和群组分类均有利于区域性合作行为的涌现,并且个体的群组属性对区域性合作行为的涌现具有重要的影响。　　其次，探讨了迁移机制下全局合作行为的涌现。本文对一维规则环上的系统中迁移机制及个体间的交互行为进行建模，并结合溯祖理论和摄动方法分析了全局合作在不同迁移机制下的演化。文中根据迁移距离的远近将迁移分别刻画为全局迁移和局部迁移。个体之间的相互作用由囚徒困境博弈刻画。在博弈时，个体因交互对象群组属性的多样化而表现出行为的多样性。全局合作者对所有个体表现无差别的合作；种族中心主义者与组内个体合作而对组外个体背叛。研究结果表明：全局合作在演化过程中劣于具有偏私特性的种族中心主义；全局迁移有利于种族中心主义的涌现，但是迁移机制对全局合作涌现的影响却非常有限。至此，为了进一步探索全局合作行为的涌现，本文研究了复杂系统中普遍存在的领航者在系统演化过程中的作用，并发现全局合作可以在领航者的促进下涌现甚至在演化过程中优于种族中心主义。　　再次，研究了交互随机性对合作行为涌现的影响。不确定性是复杂系统的一个典型特点。本文对个体之间随机的交互行为进行建模，并根据复制动力学给出了合作行为涌现的条件。在此基础上，分析了交互随机性对合作行为涌现的影响。模型中个体以一定概率随机不参与既定的公共品博弈。研究结果表明，交互的随机性对合作行为的涌现有着极其重要的影响。当随机不参与的概率小于一定值时，交互的随机性促进了系统中合作行为的涌现。但是，当该概率大于某一阈值时，系统结构对合作涌现的促进作用被交互行为的随机性所抑制。甚至，当随机不参与的概率足够大时，系统中的合作行为不再涌现。　　最后，探索了惩罚机制下合作行为的演化动力学。本文对惩罚机制的执行形式，以及亲社会惩罚与反社会惩罚进行建模，并结合嵌入式Markov链研究了惩罚机制下合作行为的涌现。模型中引入囚徒困境博弈和惩罚博弈刻画个体间的交互行为，其中惩罚博弈采用两种执行形式，即分散式的一对一惩罚和集中式的群惩罚。亲社会惩罚主要是指合作者对背叛者实施的惩罚；而反社会惩罚则用来描述背叛者对合作者实施的惩罚。研究结果表明，惩罚机制的执行形式对系统中合作行为的涌现具有十分显著的影响。在没有反社会惩罚的系统中，与分散式的一对一惩罚相比，集中式的群惩罚可以更为有效地促进合作行为的涌现。在具有反社会惩罚的系统中，当亲社会惩罚与反社会惩罚采用相同的执行形式时，惩罚机制不再促进合作行为的涌现;但是群亲社会惩罚可以有效地抵御一对一的反社会惩罚对合作行为演化所带来了的负面影响，进而使得合作行为在该复杂系统中得以涌现。