虚拟化技术由于能够简化服务部署、降低管理复杂性和提高资源利用率,被认为是云计算的基石性技术,得到越来越广泛的应用。然而,用户在享受这项技术带来的便利的同时,时刻都面临着各种各样的入侵攻击,安全问题日益严峻。虚拟机自省技术由于在虚拟化环境下能够兼顾可见性和隔离性的优点,被认为在虚拟机安全应用方面具有很大的潜力,一经提出就得到了广泛的关注和研究。本文对四种有代表性的基于虚拟机自省的安全框架进行了深入研究,然后结合虚拟化环境下面临的主要安全问题和虚拟机自省技术的特点,提出了本文所要解决的主要安全问题——虚拟化环境下的恶意软件问题。传统环境下安装安全软件的解决方法在虚拟化环境下并不适用,构建可信虚拟化平台的方法则受到了硬件架构的限制。为此,本文设计了一种基于虚拟机自省的虚拟环境安全机制。该机制分为数据采集、数据检测和记录响应三个模块。其中,数据采集模块使用现有内存取证分析框架和虚拟机镜像挂载技术提供部分操作系统知识,结合虚拟机自省库实现了从虚拟机底层语义到操作系统层语义的转化,使用这种方法简化了数据采集模块的构建过程,并能获取完整的虚拟机操作系统层语义;数据检测模块调用数据采集模块获取虚拟机关键位置数据,对恶意软件痕迹进行检测,并将检测结果提交给记录响应模块,该模块主要包括ARP缓存检测模块、网络信息检测模块、proc文件系统检测模块、中断描述符表检测模块、可加载内核模块检测模块、系统调用表检测模块、TTY检测模块、网卡混杂模式检测模块、进程非法权限提升检测模块和基于文件的Rootkit检测模块;记录响应模块将检测结果记录为日志,并根据检测结果做出响应。本文采用KVM虚拟机管理器实现了基于上述安全机制的原型系统,并通过在OpenStack开源云计算平台上创建虚拟机实例,在虚拟机内安装恶意软件等方式对系统实现的各项功能进行了测试。测试结果表明,系统能够有效的检测虚拟化环境下的恶意软件,并根据检测结果做出响应。与现有方案相比,该系统的构建过程比较简单且不受硬件架构的限制,具有良好的适用性。