随着深度学习技术的成熟,人工智能正在逐步从尖端科技走向日常生活,因此对人工智能的进一步分析和发展技术——群体智能,开始被大量学者所关注研究,而群体智能中社会化行为的合作行为与恶意行为是目前研究的难点与热点。演化博弈理论为这一问题提供了有力的理论模型,在演化博弈里我们可以构建出一个泛型的博弈生态模型。在这个模型中,我们能够方便地观察智能群体中各个智能体的社会化行为,及时了解到相应行为变化对整体系统所产生的影响。在这样宏观和微观的全方位研究中,如何找出多智能体系统中的策略均衡点,以及如何调整影响因素、设计合理的机制来引导智能体的博弈行为,从而达到我们想要的多智能体自适应系统,是本文研究的重点。为了解决上述问题,本文从博弈论的角度出发研究,主要从两个方面来分别深入探究合作行为和恶意行为,一方面是在囚徒困境中通过学习范围增强机制来研究多智能体系统的合作水平。另一方面是以网络安全为背景,结合探测机制和置信度算法提出多个新型模型来研究网络攻防中的博弈。本文的主要研究工作如下:首先,我们探讨了博弈论的基本理论框架,博弈生态模型的核心模块运行原理,深入分析了演化博弈论中的群体动力学:复制动力学和稳定演化策略。同时也介绍了常见的博弈困境模型,以及在不同空间结构上的博弈演化。社会化的合作行为研究中,本文在基于演化博弈理论的框架上,提出了学习范围增强的机制,针对囚徒博弈模型进行了一系列的实验研究,主要探究了以下三个方面:学习范围对系统合作率的影响,学习范围与博弈网络大小的关系,学习范围与空间结构的关系。研究发现并非直观理解的学习范围越大对系统合作水平促进越高,而是对系统环境有较强的依赖关系,同时在系统合作率的影响上存在阈值。社会化的恶意行为研究中,本文将博弈背景迁移到网络安全领域上,分析和研究了网络安全博弈中的身份隐藏性、信息不对称和危害性等特点,同时抽象出探测机制功能,基于贝叶斯置信度模型,提出具有一定创新意义的相对历史收益模型,弥补了贝叶斯模型的不足之处,最后结合两个模型的优点,进一步得到了贝叶斯改进模型,从理论推导到实验验证,多个方位探究新模型对结果的综合影响,以此来构造一个弹性安全网络。