随着对入侵检测技术研究的发展,出现了许多入侵检测系统,因此对各种入侵检测系统的功能和性能评估也形成了需求.在需求的推动之下,对于IDS系统的测试也相应处于不断发展之中,1996年Nicholas J.Puketza等人提出通过模拟被监测系统上用户的行为来测试IDS系统的方法.1998、1999年MIT的Licoln Laboratory通过模拟美军空军基地的日常网络流量进行了IDS系统的两次测试.2000年时,MIT在测试数据中加入了对于DDoS(Distributed Deny of Service)攻击的模拟.2001年Terrence Champion等人专门对于IDS系统检测DDoS攻击的能力进行了测量,同时还考虑了IDS系统响应功能的评测.与此同时,一些商业厂家也给出了自己的入侵检测系统的评估方法.本文在对已有测试方法研究的基础上指出在测试过程中背景流量的应用方式对测试结果有重要的影响.不使用背景流量只能进行功能测试,不能反映被测系统在实际环境中的工作情况.使用重复相同的或随机的背景流量不适用于测试进行协议内容分析的IDS系统.使用从真实环境中采集的背景流量,测试结果会受到背景流量中未知数据的干扰,且牵涉到数据的隐私问题.因此使用测试平台模拟实际的网络流量是一种很好的解决方案,本文根据已有的测试工作,列举了一组用于IDS测试的重要指标.这组指标可以被按照功能测试、性能测试和稳定性测试分为三类.并且根据各种测试指标,制定了一个较为完整的评估指标集.该指标集是功能指标,性能指标和稳定性指标的量化体现.本文指出Nicholas J.Puketza等人的评估工作和MIT的评估工作在构造网络背景流量时,采用的是自顶向下的方法,既通过模拟各种应用层程序的行为来生成网络流量.这种方法受到应用层程序功能复杂和数量众多的制约,在实现上有很大的困难,并且这种方法也不能有效的控制背景流量的大小和概率特性.本文提出了一种模拟协议栈的工作过程,使用概率参数和协议模板相结合来构造网络背景流量的方法.实验数据表明本文的背景流量构造方法能够克服已有背景流量构造方法遇到的困难,通过使用概率参数可以很好的控制背景流量的大小和流量中的报文到达率,通过使用模板可以完成特定应用层协议的交互过程和协议内容的模拟.本文构造的背景流量可以很好的模拟目前常见的网络环境.本文设计了入侵检测系统测试平台AOLES的体系结构,接着对AOLES的测试数据生成、测试数据播放和测试结果评分的相关算法分别进行了介绍.在测试结果的评分过程中,AOLES通过引入同步点的概念来解决已有测试在评分上遇到的困难.依靠同步点来进行评分使得评分过程更加简单和准确.本文最后利用MIT数据和AOLES数据对Snort进行了对比测试,测试结果表明由于攻击实例过于陈旧,使用MIT的数据对目前主流的IDS进行测试不能取得有意义的结果,而AOLES的测试数据能够对入侵检测系统进行有效的测试,测试结果能够很好的反映被测系统的工作情况.