基于互联网的云计算模式在信息网络中迅速推广和发展,该模式将原本分散于独立物理节点的计算资源和存储资源集中起来,由云平台统一管理和分配。云计算平台聚集了大量的资产,攻击者们对此虎视眈眈。云计算模式资源集中化特点还意味着原本分散于独立物理节点的传统安全威胁如软件漏洞或者系统漏洞等也集中到了云计算环境中。租户在云平台中的虚拟机中存在的漏洞数量和可能遭受漏洞利用攻击的概率并不会比租户个人使用的物理主机要少。黑客们仍然可以依靠以漏洞利用技术和恶意代码为代表的传统攻击手段来攻击虚拟机。总的来说,以软件漏洞利用和恶意代码为代表的传统安全威胁对云计算虚拟化环境下的虚拟机依然是首要的威胁。因此,急需研究针对虚拟机内的恶意行为检测与起源追踪技术,以保障虚拟机免受攻击者的恶意利用。传统的安全监控和检测技术是在虚拟机内部部署监控和检测工具,它们可以较为精确的感知关键事件的发生并进行直接的处理,但是一旦虚拟机被成功入侵,这些工具就会受到攻击者的干扰,其运行结果不可信。虚拟化技术作为云计算的底层支撑技术,提供了虚拟机相互隔离的运行环境,虚拟机监视器对客户域虚拟机拥有完全控制权,可以为实现客户域虚拟机外部的恶意行为监控研究提供了技术上的支持。因此,本文尝试利用可以从虚拟机外部查看虚拟机内部的信息的虚拟机自省技术,在目标系统的外部增强虚拟机应对传统威胁的能力。综上所述,本文针对云计算虚拟环境下的虚拟机可能被传统安全威胁恶意利用的问题,从虚拟机的内部和外部两个层面入手,研究针对虚拟机内恶意行为的检测与起源追踪技术。针对恶意行为的检测方案可以减小虚拟机被恶意利用的概率。如果虚拟机已经遭到了恶意利用,需要可信的起源追踪方法来揭示攻击的起源、路径和结果,帮助受害系统从入侵中恢复,部署相应的防御机制以防止攻击者的再次入侵。本文的具体研究内容如下:(1)研究针对数据泄漏行为的恶意软件检测方案为了检测泄漏敏感信息的基于未知漏洞的APT级恶意软件,本文提出针对数据泄漏行为的恶意软件检测方案,通过多时间窗口关联分析和主机网络事件关联分析来检测恶意软件的信息窃取行为。本文首先根据已出现的窃取信息的恶意软件的攻击步骤,从中提取可观测的高级恶意事件,再分解为低级行为,提出一系列推断规则来关联低级行为和高级恶意事件。本文对被保护的主机和网络进行低开销的持续监控,一旦监控到异常,则进一步检测主机和网络的低级行为,根据推断规则关联已发生的低级行为和高级恶意事件,重构窃取信息的攻击步骤,从而检测攻击的存在。(2)研究基于上下文感知的透明起源收集方法针对传统起源追踪系统易受攻击者干扰的问题,本文设计了基于上下文感知的透明起源起源收集方法。该方法首先利用虚拟化技术透明的收集目标机中发生的系统事件和网络事件,再根据不同类型的事件可以通过它们的执行上下文建立关联关系这一视角,在不同类型的事件之间建立关联关系,从而将时空散布的攻击指纹连接起来,显示恶意行为的轨迹,向攻击调查提供全局视角,揭露攻击的起源、路径和结果。起源收集方法对目标机透明,避免被攻击者干扰,收集的事件可信,同时不会对目标机产生空间开销。(3)研究基于关联日志图的起源追踪方案针对现有的操作系统级别的起源方案需要分析者手动生成因果图分析攻击事件这一问题,本文提出基于关联日志图的起源追踪方案。本文利用数据关系分析技术,研究系统实体之间的关联关系。通过分析事件的上下文信息,提出事件关联算法根据上下文信息查找相关事件,提出事件过滤算法过滤攻击不相关或冗余事件,提出全景图构建算法辅助构建攻击全景图,帮助分析人员识别攻击的起源、路径和结果。(4)研究基于虚拟机自省的ROP防御机制针对虚拟机中发现的ROP漏洞急需保护方案以避免被利用的问题,本文设计了基于虚拟机自省的ROP防御机制,透明的实现对虚拟机内存中代码段的权限管理,取消存在缓冲区溢出漏洞的目标程序在运行时加载但没有使用的代码段的可执行权限,来对抗ROP攻击。整个机制分为线下和运行时两个阶段。线下阶段中,通过静态分析得到目标程序在运行时加载的依赖库信息,通过增量训练得到目标程序在运行时使用的代码段信息,二者相减,即为目标程序运行时加载但没有使用的代码段信息。运行时阶段中,基于虚拟机自省的软剥离模块以线下阶段获取的知识为输入,取消目标程序运行时加载但没有使用的代码段的可执行权限,以这种软剥离的方式有效地缩减整个库的代码空间,从而降低攻击者定位足够多的可执行片断来构造ROP片断链的概率。以上研究成果部署于目标系统的内部和外部,功能互补,实现了对虚拟机内的恶意行为的检测与起源追踪,提高了目标系统应对传统安全威胁的防御能力。