计算机网络和信息技术的快速发展,使得我们对网络安全的要求越来越高。主动且动态地对网络进行安全防护的入侵检测是网络安全发展的一个新方向,是传统网络安全技术的必要补充。入侵检测的主要目标是用于检测非授权误用以及系统内部与外部的入侵行为。基于主机的入侵检测系统主要用于对重点主机实施防护,有较高的检测效率和准确性率。由于大多数对系统的攻击最终是通过非法执行系统调用来达到目的,所以通过监控系统调用,阻止非法的系统调用,可以达到并阻止大多数的入侵行为,达到保护系统的作用。本文论述了入侵检测系统的术语、功能、模型和分类,对现有的入侵检测技术进行了分析说明,指出入侵检测系统的发展趋势。针对单纯的检测方法的缺点,提出了一个将异常检测与误用检测相结合的混合模型。将异常检测中检测到的固定入侵模式进行整理,加到误用检测的模式库中,让系统日益健壮。深入研究了系统调用截获的常用方法,分析了它们的优缺点,选取了基于LKM机制修改系统调用表截获方法和内核修改法截获方法进行综合和改进。通过修改中断描述符中的偏移量,使其指向截获函数,在截获函数中提取出CPU寄存器的内容。在对CPU寄存器进行相关的信息收集工作后退出再转入原内核服务程序。这种方法只需要很少的代码即可实现,并且对系统调用信息的提取能在内核高效完成能够很好地满足我们的系统要求。研究了基于异常检测的系统调用入侵检测检测的常用的模型,分析了他们的优缺点,在此基础上,针对系统调用行为不会随机波动、非静态、系统调用为非测度变量等特性,采用有限状态自动机模型,检测范围缩小到部分系统调用,选取标准设为某些“特征”(例如参数、使用频率、PC值等)。针对有限状态自动机自身的缺点,对有限状态自动机模型进行了改进,通过对系统调用频率与文件访问范围的监控来检测拒绝服务与关键文件越权访问等入侵,并在最后对入侵进行分类。最后,对所提出的模型进行了仿真实验,通过对实验结果的分析,证明了该模型和方法实现了较低的误报率以及较少的训练时间。