合作现象在自然界和人类社会非常普遍,如何理解在没有亲缘关系的自利个体之间,合作是如何产生并演化的是一个重大的科学难题。作为传统演化博弈理论的重要扩展,复杂网络上的演化博弈为理解和分析复杂交互环境下的个体与群体决策,特别是合作行为的产生和演化提供了一个重要的研究框架。针对现有研究多从理性“经济人”的角度出发,根据博弈收益的比较结果进行博弈策略选择和博弈关系调整,忽略了真实个体的声誉偏好、他涉偏好、信任感等因素对决策行为的影响。本文将行为科学和经济学实验发现的影响真实个体决策行为的因素引入复杂网络上的演化博弈,考虑网络拓扑结构和网络权重调整动力学与博弈策略更新动力学之间的协同演化和交互作用,研究个体在社会困境中的博弈决策行为与合作激励机制,开展了以下几个方面的工作:（1）在空间囚徒困境博弈中引入行为的可观测性和声誉偏好,为声誉值高于直接邻居平均声誉值的合作者建立了动态变化的奖励,奖励金额由博弈行为的可观测程度和声誉偏好的影响强度共同决定。研究了奖励机制对合作演化的影响,以及合作在不同网络上的演化特征。仿真结果表明,与传统囚徒困境博弈相比,在同质、异质和真实社会网络中,奖励机制均能够促进合作的产生和演化;在行为可观测性和声誉偏好的共同作用下,合作者的演化优势显著增强。与均匀规则网络相比,合作更易在WS小世界网络和ER随机网络中出现和维持。（2）将影响真实个体决策行为的他涉偏好引入传统囚徒困境博弈,受他涉偏好影响的博弈个体愿意牺牲自身收益来奖励为共同合作做出重大贡献的直接邻居。在四类不同的网络中研究了基于他涉偏好的互惠机制对合作演化的作用,以及合作涌现、传播的特征。实验结果说明,在规则格子网络、WS小世界网络、ER随机网络和美国大学生足球联赛网络中,互惠机制对合作的出现和演化均具有积极的影响;网络连边权重的动态调整和他涉偏好强度的增长在合作行为的产生中具有重要的作用;在上述四类网络中,ER随机网络最有利于合作的形成和维持;WS小世界网络和规则网络的高集聚性加快了合作的演化。（3）在空间囚徒困境博弈中引入基于行为惩罚的断边规则和基于声誉偏好的建边规则,构建了网络结构和博弈策略共演化模型。在同质规则格子网络中研究了断边重连机制对合作演化与底层博弈交互网络结构的影响。仿真表明,共演化模型促进了底层异构交互网络的出现,这为博弈策略更新动力学下合作的涌现和演化提供了有利的网络拓扑结构。随着背叛诱惑和网络密度的增长,提升网络结构的调整频率才能支持合作的出现和传播。在共演化模型的作用下,合作者逐渐占据了网络中的大度值节点;博弈初始时的同质规则网络最终演化为具有异配性和异质性的无标度网络,网络度分布呈现明显的幂律分布特征。（4）将实际社会交往中存在的信任感引入空间囚徒困境博弈,为具有最大连边权重的合作者邻居建立了随合作信任度动态变化的奖励。研究了基于信任度的激励机制在囚徒困境博弈中对合作演化的作用,以及不同博弈交互网络对合作演化的影响。实验结果表明,在规则格子网络、WS小世界网络、ER随机网络和美国大学生足球联赛网络中,激励机制对合作的出现与传播具有显著地促进作用;合作信任度随博弈策略变化的自适应调整增强了合作的演化。从网络结构特性对合作演化的影响来看,小世界效应抑制了背叛的出现;网络的高异质性促进了合作的产生和维持;网络的高集聚程度加快了合作的演化。合作激励机制的研究结果不仅可以为解决社会困境,特别是为人类社会合作促进机制的建立提供借鉴,而且能够为提升多智能体之间的有效合作和多智能体系统的自主协同能力提供启示,进而为缓解城市交通拥堵难题提供参考。