目前云计算因为具有投入低，易维护，部署灵活快速，服务可靠等特点受到国内外学者和企业的青睐，同时因其可以降低运营成本，改善运营效率等优点，各国都在云计算上投入大量财力和物力进行研究和建设。随着云计算技术和应用的不断发展，面临着更为严峻的安全挑战，安全问题已成为阻碍云计算发展的关键因素。当前人们在云计算安全方面的研究大多投向到云服务提供商是否可以为终端用户提供安全可信的服务方面上，但由于云计算环境下的云终端用户直接可访问云服务提供商的软硬件资源，用户的行为反过来给云服务提供商带来的安全风险也比常规的网络服务大大增加，单独的用户身份可信已不能满足云计算环境下应用的需求，因此如何保障用户行为的安全可信并对其有效进行风险控制成为云计算应用走向成熟的重要研究课题之一。目前这方面的研究才刚起步，缺乏统一的、完整的用户行为认证管理的数学模型的理论方法和有效的定量分析方法。本文针对云计算环境的特点，在用户身份认证的基础上，提出用户行为认证的概念，实现基于行为的身份再认证和行为可信认证两种关键机制。采用随机模型方法对用户行为认证机制进行建模，并在此基础上定量评估机制的性能，进行安全性分析，初步建立用户行为认证比较完整的理论架构，为推动用户行为认证研究的整体发展，从用户端源头实施网络安全控制提供理论依据和实践指导。本文的主要研究内容和创新点如下：（1）提出了一种云计算环境下动态用户行为认证的机制。根据云计算应用环境的需求，确定用户行为认证的属性，建立证据集，给出证据的获取和学习方法，制定行为认证的策略，以及针对不同行为认证结果采取相应的控制措施。（2）建立了一种基于随机Petri网的符合用户行为随机性、不确定性、并发性特性的行为认证模型。利用随机模型中的位置、变迁、弧和标识等特征来描述各种认证和博弈关系，从而有效地实现了图形化的用户行为认证的模型分析方法，据此进行相应的证明来验证模型的有效性。（3）给出了一种减小系统模型状态空间的性能等价化简方法。通过自顶向下分解建模和自底向上分析求解的方法对用户行为认证随机Petri模型的性能进行等价化简，解决了模型分析求解时面临的状态空间爆炸的问题，并对行为认证机制的性能进行定性和定量分析。（4）提出了一种基于动态博弈论的用户行为风险控制机制。根据终端用户的历史行为和当前行为，采用不完全信息多阶段动态博弈对终端用户的类型、可信等级判断及修正展开分析讨论，根据博弈结果，动态调整用户的可信等级，并据此采取相应的访问控制措施。实验结果表明该方法具有自约束力，可以使系统中潜在的不可信云终端用户发送恶意请求的概率稳定在较低的水平，博弈结果为采取准确的安全应对措施提供有力的依据。