操作系统是系统中最重要的部件之一,承载着从桌面软件到服务器程序的各种应用,确保应用的稳定、高效、安全运行。目前服务器中大部分系统都使用宏内核,例如Linux,其共享内核地址空间的架构减少了不同模块交互的性能开销,然而这种宏架构却使得其安全风险越来越突出。代码量的巨大导致内核几乎不可避免的包含诸多漏洞,隔离性的缺乏则使得内核安全性更加脆弱,且内核的权限极高,一旦其中任何一个部件被攻破,整个系统都暴露于安全威胁之中。因此,如何加强操作系统内部,尤其是内核的隔离性,一直是一个热门的研究方向。结合硬件虚拟化机制,上述问题有了一些新的思路,硬件虚拟化提供的扩展页表和其他扩展机制使得对于地址空间的隔离变得更加有效。然而,当前很多利用硬件虚拟化进行防护的方法未能减小不同扩展页表之间的切换开销,部分利用VMFUNC指令进行扩展页表切换过程加速的工作也没有充分考虑多个扩展页表互相切换的安全性问题。此外,大部分工作都没有考虑到利用虚拟机监控器对异常访问进行检查时的与语义不完整问题。本文针对虚拟机系统内部的隔离问题,结合硬件虚拟化提供的扩展页表、虚拟异常机制和VMFUNC扩展指令,设计和实现了对于虚拟机内部执行环境的安全高效隔离机制,并将其应用到对于虚拟机操作系统内核的保护中,使得内核中某些部件的漏洞不会影响到其他部件,该方案也可方便移植到其他内核部件或用户程序。具体而言,本文完成了如下工作:设计并实现了在硬件虚拟化环境下基于扩展页表进行客户虚拟机地址空间隔离,保证了不同执行环境之间的强隔离性,使得攻击者无法读取或篡改其他执行环境的未授权数据,同时保证了原有系统接口的兼容性。利用VMFUNC硬件指令设计了不同执行环境之间的安全高效切换机制,提升切换过程安全性的同时大幅降低了扩展页表的切换开销,对于Apache和Memcached程序产生的性能影响小于2%,对系统其他部分正常运行产生的性能影响也十分轻微。设计并实现了基于虚拟异常的、针对非法内存访问的检查机制,让虚拟异常先由虚拟机处理而不再立即下陷到虚拟机监控器。虚拟机内部拥有完整的语义信息,可以进行有效的访问安全性检查,避免虚拟机与虚拟机监控器之间的语义差异导致的有效性问题。