云计算历经十几年的发展,已经极大地改变了计算资源的使用模式,这种模式不仅提高了资源的利用率,还降低了企业和个人开发新应用的成本。但是云计算在带来便利性的同时,其面临的安全问题也日益突出,云安全事件频发,已经成为企业最关心的问题之一。在云安全中,虚拟机的安全是最根本也是最迫切需要解决的问题。而虚拟机面临的最大威胁就是具有较强隐蔽性和持久性的恶意代码攻击,隐藏进程就是其最主要的特征。因此,针对隐藏进程的检测和防御是亟待解决的问题。目前,传统的隐藏进程检测方法具有以下缺点:一、基于软件的检测方案中,检测程序运行于虚拟机内部,一方面容易受到恶意进程的攻击,导致检测结果不准确,另一方面不适用于云环境中,容易造成计算资源的浪费;二、基于硬件的检测方案需要专门的硬件支持,难以大规模应用;三、基于虚拟机监视器的检测方案,为了解决虚拟机信息获取问题,往往会在虚拟机内部安装代理,因此检测程序也会受到恶意软件的威胁。而在隐藏进程防御方面,已有方案的防御系统基本都运行于主机内部,不适用于虚拟化环境中,且容易受到恶意代码攻击。为了提高虚拟化平台和云平台的安全性,解决当前的隐藏进程检测和防御方案存在的问题,本文提出一种基于虚拟机自省的隐藏进程主动防御方法,首先从宿主机中透明地检测多台虚拟机内部的隐藏进程,然后根据检测结果采取实时主动地防御措施。本文的主要工作如下:一、本文提出一种基于虚拟机自省技术的隐藏进程检测方法。首先从虚拟机外部透明地获取进程和流量信息,建立不同特权等级的视图,然后通过视图交叉对比和流量差异性分析来检测隐藏进程。该方案能在宿主机中透明地检测虚拟机内部的隐藏进程,适用于虚拟化环境中,保证了检测程序的安全性,提高了检测的可靠性。二、本文提出一种基于可写虚拟机自省技术的隐藏进程防御方法。通过将防御系统中的关键系统调用重定向到虚拟机中,由虚拟机来执行特定系统调用,从而改变虚拟机内部状态,实现防御功能。相较于传统的防御方案,本文提出的方案更适用于云环境。一方面,防御系统运行于虚拟机外部,保障了其安全性,另一方面,防御系统可同时作用于多个虚拟机并能实时地根据检测结果采取措施,提高了防御的实时性和资源的利用率。三、本文基于隐藏进程的检测和防御方案设计并实现了 VMIDefender原型系统。系统主要分为检测子系统和防御子系统。检测子系统对虚拟机内部信息的获取模块、视图维护模块和核心控制模块进行了详细设计和实现。防御子系统从辅助进程选择器、系统调用分发器和系统调用重定向三个方面,对系统调用重定向机制进行了详细的设计和实现。同时本文基于VMIDefender原型系统对检测和防御方案进行了验证。实验表明,本文的检测方案能从宿主机中透明地重构虚拟机内部语义信息,并根据这些语义信息检测虚拟机内部的隐藏进程。此外,实验还表明,本文提出的防御方案能根据检测结果修改虚拟机运行状态,杀死隐藏进程。