近两年,随着虚拟化技术的日渐成熟,云计算逐渐成为最重要的计算基础设施之一。但随之也带来了一系列的安全与隐私问题,而其中恶意软件的识别也逐渐成为云计算安全防护中的重点。随着互联网的迅猛发展,不论是在数量上还是种类上,恶意软件实体都呈几何增长,基于固定特征匹配的恶意软件识别方法也越发困难。现如今,关于恶意软件自动检测方法也有大量的相关研究。传统的静态分析方法通过对可执行二进制文件进行特征提取,与现有的特征库进行模式匹配达到检测目的。但面对大量的恶意软件变种,乃至一些使用代码混淆、数据伪造等反取证技术的恶意软件实体,静态检测方法就存在一定局限性。现有的动态检测方法主要跟踪获取程序整个运行过程中的行为特征,例如系统调用执行序列、网络流量等。但往往需要加载额外的客户端或内核模块,实时跟踪、拦截目标程序行为,从而导致更高的性能负载。这也是动态方法无法在实际商用环境中大面积推广的原因。目前,随着人工智能的大火,机器学习、深度学习等技术不断在图像识别、NLP、语音合成等领域取得重大突破。这为将深度学习方法应用到安全领域提供了可能,基于机器学习的恶意软件自动检测也逐渐成为研究重点。本文主要工作是基于云计算背景下,利用现有的深度学习方法实现恶意软件检测和分类。本文主要研究内容如下:首先,结合现有的虚拟机自省技术,提出一种基于循环神经网络的动态检测恶意软件方法。通过该方法,根据模型需要,能够在虚拟机外自动化提取恶意软件运行期间的特征模式。其次,通过对内存分析技术研究,提出了一种基于系统调用的控制流转移图生成算法。该算法基于传统的程序控制流图,结合系统调用信息自动化生成系统调用转移图,在利用现有的图神经网络模型能够有效检测识别恶意软件。最后,本文基于现有的开源系统,设计并实现了原型系统,模拟了在云计算环境下恶意软件自动化检测。实验结果表明,上述两种方法都能够有效检测恶意软件样本。