虚拟化技术能够将底层物理计算资源整合为一个运行环境,对底层的计算资源进行逻辑抽象与统一,因此虚拟化技术是云计算实现基础性关键技术。虚拟化环境面临着许多安全问题,尤其是形式更多变功能更强大的恶意程序。数字取证技术是在网络犯罪现场搜寻电子证据,为破获计算机犯罪提供有力支持。虚拟机的内存转储文件和虚拟磁盘文件真实地反映了虚拟机的状态,作为取证工作的关键证据,其安全性和完整性都有着至关重要的作用。根据虚拟化的特点,采用虚拟机自省技术(Virtual Machine Introspection,VMI)实现数字取证有诸多优点。因此,云计算平台虚拟化环境下的安全性以及如何采用VMI技术实现数字取证的研究对虚拟化安全和云计算发展有重要的价值和意义。本文首先介绍了虚拟化的相关内容包括虚拟化的分类和主流虚拟化技术;接着研究了虚拟机自省技术,对其实现方式与发展现状进行归纳;接着对虚拟化环境下存在的安全威胁进行了详细分析,归纳了针对不同的威胁可以采用的应对方式;继而简要介绍了数字取证技术,以及针对Rootkit和病毒的特征和分析检测手段。本文对开源的内存取证分析工具Volatility、开源的磁盘分析工具SleuthKit和恶意程序识别归类工具YARA的使用进行了研究,并对来自Rootkit与病毒的入侵痕迹及检测进行探讨。虚拟机自省技术可以在虚拟机外部获得虚拟机内部的信息,内存转储文件准确地展示了虚拟机内部状态并可以用以检测;虚拟机磁盘文件则保留了虚拟机磁盘作为取证工作的关键证据。在此基础上,本文设计并实现了基于VMI对虚拟机的数字取证分析系统,系统划分四个模块对应数字取证的基本流程,数字取证过程主要包括对虚拟机内存转储文件的分析和对虚拟机磁盘文件的检测。本文最后搭建了基于KVM的虚拟化环境,同时部署相关工具,在虚拟化环境内建立不同的测试所用虚拟机。实验结果表明设计的系统能够从功能上检测出虚拟机异常,完成数字取证工作,面对不同测试用例和场景下会有性能差异。