近年来,复杂系统的研究已成为富有挑战性的前沿方向之一,多智能体系统作为复杂系统的一个典型代表备受关注：本文基于国家自然科学基金项目、辽宁省高等学校创新团队支持计划项目和辽宁省高等学校优秀人才支持计划项目,对多智能体系统的稳定性及其在人工股票市场上的应用做了深入的探讨。本文以李亚普诺夫稳定性理论为基础,讨论了多智能体系统的动态性质和稳定性,并以此为依托,深入研究了人工股票市场的稳定性和控制问题。论文主要工作可总结如下：1.讨论了多智能体系统的稳定性问题。首先,将随机扰动引入到多智能体系统,提出了一个一阶随机多智能体模型,并应用李亚普诺夫稳定性理论研究了系统中心的运动状态,系统的指数稳定性,及其收敛性质：研究了多智能体系统在不同扰动条件下的实用稳定性问题,给出了实用稳定性条件；其次,应用拉普拉斯图理论,讨论了一个二阶多智能体系统的运动状态和渐进稳定性质。2_通过在系统中加入一个或多个可控智能体,在不破坏局部规则的条件下,成功地改变了系统的运动状态,并以一阶、二阶多智能体系统为例,分别给出了相应的控制规则；应用粒子群算法讨论了可控智能体的数量选择问题,指出适当的增加可控智能体的数量可以提高系统的收敛速度；此外,通过在系统中加入多个可控智能体,实现了多智能体系统的分化。3.应用多智能体稳定性理论,研究了人工股票市场的稳定性问题。首先,以圣塔菲人工股票市场模型为基础,结合简单的吸引排斥函数,给出了价格期望反馈模型,并讨论了该模型的价格稳定性问题。其次,提出了一个包含五种交易群体的多群体人工股票市场模型,针对不同的交易群体,分别给出了各自的交易规则,分析了各自的价格动态性质,并模仿真实股票市场的竞价机制,提出了一种新的交易出清机制。4.基于可控智能体理论,讨论了人工股票市场的控制和稳定性问题。与传统的股票市场的稳定性理论不同,本文通过在人工股票市场模型中加入可控智能体,利用可控智能体特定的交易规则,改变市场中买入量和卖出量的比例,以达到调节股票价格,稳定金融市场的目的。