主流金融学的理论基础是理性人假设,在此基础上构建了以市场有效假说、投资组合理论以及各种资产定价理论为框架体系的现代金融理论,“理性”的交易者只是这些理论成立的基本条件,而现实中金融“异象”对主流金融理论的合理性提出了挑战。20世纪80年代以来,行为金融理论的兴起打开了投资交易者行为研究的“黑箱”,交易者行为本身开始成为研究对象,特别是噪音交易理论的提出,该理论以有限理性分析框架,很好地解释了金融市场的异象。将生物演化的思想引入到证券市场研究中并结合噪音交易理论,视证券市场为一个各种交易者在特定环境下互动博弈的演进系统,这样能更好地研究分析交易者的行为过程。本文的研究主要有以下几个方面：首先,基于DSSW模型,利用复制动态方程建立了证券投资者行为演化博弈模型,通过对模型的研究表明证券投资者行为的演化博弈存在多重均衡的特征,投资者行为演化博弈的路径和最终的均衡结果受到市场的初始状态以及投资者的期望收益中的相关参数影响；其次,基于DSSW模型以及“鹰鸽博弈”模型,利用复制动态方程构建了存在市场监管的证券交易者行为演化博弈模型,最终的演化博弈仍然存在多重均衡的情况,且存在最佳的监管力度使得市场处于均衡状态,此时交易者群体的平均期望收益最大；最后,基于频率依赖的Moran过程,构建了市场规模有限的证券市场中投资者行为的演化博弈模型,分析了市场的规模对演化博弈系统最终均衡的影响,数值模拟结果显示：演化博弈系统最终的演化结果会随着市场规模的大小变化而变动。本文的研究特色与创新之处主要表现在：①将随机演化博弈引入到证券投资者行为的研究中,建立了基于Moran过程的证券投资者行为的演化博弈模型,分析了市场规模对演化博弈系统最终均衡的影响；②基于DSSW模型以及“鹰鸽博弈”模型,利用复制动态方程,研究了存在市场监管的交易者行为的演化博弈。本文的研究不仅为分析交易者在证券市场中的动态发展规律提供了演化博弈模型和数值模拟结果,而且对存在市场监管的证券交易者行为演化博弈的分析为相关部门更好地把握证券投资者行为规律、出台合理的监管措施提供理论参考。