虚拟化是一种管理资源的技术。它的主要目的是在物理硬件上抽象出虚拟的硬件资源,以支持多个操作系统的并行运行。虚拟化技术能够显著地提高硬件资源的利用率,它在云平台技术的发展中扮演了重要的角色。云服务提供商通过虚拟化技术来提供计算和存储资源,使得用户可以节约大量的应用部署成本。虚拟化的发展伴随了整个操作系统的发展历程。它一方面需要提高硬件的使用率,另一方面也要确保自身的安全性。Xen是一个由开源社区维护的虚拟化项目。在众多的虚拟化系统中,由于Xen在性能方面的优势,它被很多的云服务厂商(如Amazon和阿里巴巴)使用。由于云服务依赖于虚拟化技术,虚拟化系统中的安全问题成为了工业界和学术界关注的一个热点。本文针对Xen,分析了其虚拟化系统的两个层面的安全问题:应用安全和内核安全。应用安全主要需要保证在虚拟机中运行的程序处于安全的状态,也就是需要为用户提供安全、稳定服务。内核安全需要保护系统不遭受rootkit的恶意攻击。通过对这两个问题的研究,本文引入了一种混合虚拟机内和虚拟机外的安全监控框架,并实现了一个原型HybridMonitor。HybridMonitor在设计上,一方面借鉴了软件度量的思想,在文件和内存层面监控了应用程序的安全;另一方面提出了一种内核控制流的监控方案,该方案使用了两种关键技术:不可绕过的内核代码保护技术和内核控制流度量技术,从内核代码和内核控制流方面来保证内核的安全运行。HybridMonitor可以在保护应用程序和内核安全运行的前提下,给监控的宿主系统带来较小的性能开销。实验证明这种混合的监控框架可以有效地检测到进程级别的攻击和内核控制流的持续攻击,同时只给宿主系统带来较小的性能损失。