Rootkit恶意代码兼具隐蔽性强,危险性高,变化复杂等特点,可对Linux内核空间造成严重危害,因此在操作系统安全领域研究中,针对Rootkit的相关检测及安全防护的重要性不言而喻。在内核级Rootkit对Linux操作系统展开攻击的多种手段的研究中发现,借助可加载内核模块去利用系统调用攻击内核函数是一大难点。内核级Rootkit通过修改用户空间代码以可加载内核模块方式获取系统调用表的地址指针,将指针指向恶意代码或修改过的系统调用表,从而在正常的系统调用过程中运行Rootkit所需内核函数,以此来获取系统中的高特权级信息,同时修改恶意代码在内存中的位置并实现恶意代码的隐藏,为攻击者提供后门。本文首先对Linux用户空间和内核空间安全机制进行说明,同时对当前的一些主流技术和检测方法进行分析,其中包含追踪检测计数、完整性检测及特征码检测等。在此研究基础上本文提出了一种建立在虚拟机架构上的计数追踪检测原型。该原型基于进程在执行过程中产生系统调用的数量和其源代码中系统调用号数量一致的事实,结合FTrace追踪技术实现了进程在实际运行过程中产生内核函数调用的追踪功能,利用Xen虚拟机监视器的结构特性以构建虚拟检测模型,从物理上隔绝检测原型和目标操作系统。最后基于完整性检测原理将理想状态下和实际的内核函数调用情况进行对比,实现异常检测和触发报警功能并实时获取上报系统异常信息。为验证该检测模型的可行性,本文首先设计并实现了对源代码中系统调用信息的统计输出,并对特定进程的内核函数调用信息进行即时追踪,通过对虚拟架构中不同区域获取到的系统调用表的对比,来验证将原型放置在不同虚拟机环境下的搭建模式是否能够实现信息互通,以此得出该信息的一致性,证实不同虚拟机间信息互通的可能性。本文提出的检测模型为虚拟机架构下的内核级Rootkit攻击检测研究进一步提供了优化方案,在弥补了函数监控检测原型无法对特权函数进行检测的缺陷的同时,在恶意代码攻击行为隐蔽性极强的系统调用环节进行了补充防护,同时提升了检测的准确率及可靠性,弥补传统检测方法的不足。