随着信息化程度的不断提高和计算机的普及应用,计算机系统对人类社会的发展起到至关重要的作用。然而,在信息全球化的今天,系统安全形势仍不容乐观,频发的安全事件表明传统的安全保障技术已无法满足日益复杂的计算机系统和高速发展的网络软件的安全需求,而且单纯的依赖系统内部的安全机制也难以保证信息系统的安全；因此,迫切需要打破系统本身的限制,从系统外部寻求新的途径增强系统安全性。系统虚拟化技术提供的相互隔离的运行环境,以及虚拟机监视器对上层虚拟机的完全控制权,为系统安全增强技术的研究开辟了新路径。利用虚拟化技术的平台优势,结合传统系统安全增强安全方法和技术,从系统外部的角度出发增强系统安全性成为目前的研究趋势。可信计算旨在从终端出发确保计算系统的安全性,将可信计算的优势融合进虚拟平台,不仅有利于保障平台的完整性,而且有利于虚拟计算环境向可信网络的延伸。此外,虚拟化技术在为系统安全增强研究提供有力的平台时,也为系统安全性带来了隐患,因而研究目前主流虚拟化平台的安全增强方法将进一步推动系统整体安全性的提高。基于此,本文针对系统安全增强的基础理论问题,从系统虚拟化角度入手,结合可信计算的基本思想,重点研究基于信任扩展的可信虚拟平台构建方法、面向可信虚拟平台的系统安全监控方法和安全增强技术,并在此基础上进一步研究Xen虚拟化架构的安全缺陷以及相关优化方法,为系统安全增强提供理论依据和实践价值。具体研究内容包括：1、基于信任扩展的可信虚拟平台设计与构建针对现有可信计算的信任扩展方法无法适应虚拟化平台的需求,本文通过“树形”信任扩展方式构建从物理平台至虚拟平台的完整信任链和证书链,并设计适合虚拟平台的远程证明模型以及透明加密方法,为增强虚拟执行环境的安全性以及虚拟计算环境的向可信网络的延伸奠定基础。2、可信虚拟平台下系统安全监控方法研究针对现有安全监控架构的监控目标对象不够全面,无法有效检测诸如直接修改内核对象类的恶意行为,以及无法将网络数据与进程相关联等问题。本文在可信虚拟平台的基础上,研究虚拟机运行时的系统安全监控方法,并在Xen的准虚拟化模式和硬件虚拟化模式下,设计实现能够满足不同操作系统平台的系统调用监控、模块监控、网络监控、进程监控等功能单元,为系统安全增强服务提供可信的松耦合的接口。3、基于虚拟化监控的系统安全增强技术研究由于现有基于VMM的隐藏进程检测方法无法对隐藏进程进行处理,本文提出了隐藏进程的监控与管理方法,不仅能够适用于主流操作系统、主流类型的隐藏进程检测,而且能够为管理员提供可信的进程管理接口,有效的增强系统安全性；针对现有可信虚拟域构建方式不够灵活,受限于硬件条件的问题,本文设计了基于网络监控的可信虚拟域构建方法,能够支持安全策略的动态配置和加密算法的动态选择,为虚拟域用户提供灵活的边界安全控制。4、虚拟平台下特权优化分解及内存隐私保护研究虚拟化软件的引入在增强系统安全性的同时,也为客户虚拟机带来了安全隐患。本文针对主流虚拟化软件Xen的可信计算基过于庞大问题,研究可信虚拟平台的安全增强方法,力图在不影响安全服务功能的前提下,通过优化虚拟平台架构、限制特权操作,以及设计客户虚拟机中敏感进程内存隐私保护方法,在最大程度上保护虚拟机系统的完整性和隐私性。