随着计算机技术的发展及应用规模的扩大,主机安全问题变得越来越严峻。主机防火墙、病毒检测等传统的安全技术已经难以胜任主机安全的需要。入侵防御系统作为一种能在线部署和快速响应的安全系统逐渐成为研究的热点。Windows操作系统作为目前使用最广泛的操作系统,其安全问题也越来越受人关注。本文在研究Windows内核和变长短序列划分的基础上,结合粗糙集理论,提出了一种基于Windows Native API的入侵防御模型。模型引入嵌入式汇编语言来简化对Native API的监控,将数据集划分为一组相对独立的变长序列模式,利用粗糙集理论对每种长度的序列集进行简约,建立了较小规模的Native API短序列的防御模型,并应用于sendmail调用序列进行离线实验。实验结果表明,本文模型的检测率达到96.08%,误报率降低到1.93%。与其他检测模型的比较结果表明,本文模型在检测率、实时性和自适应性方面有更优的性能。论文以提出的防御模型为基础,构建了一个在线入侵防御系统。详细分析了在线系统实现过程中用到的一些关键技术,包括Windows中基于缓冲区溢出的攻击实现、ANSI文本流的生成及系统响应技术。在线系统在实时攻击下的检测实验表明,各种通过缓冲区溢出来改变程序执行流程的攻击行为都能检测到,而且检测时间都在1秒左右,表现出较好的检测能力和实时性能。