随着计算机技术不断发展,网络规模不断扩大,带来的网络安全问题也日益突出。目前,人们在网络上采取的安全手段少,方法单一,很多网络只限于安装防火墙和反病毒软件,并不足以保护网络安全,因此具有主动防御特征的入侵检测系统受到人们的重视。入侵检测系统通过主动监控网络数据和用户行为,发现异常数据或攻击行为,从而对网络和系统提供保护。根据检测原理,入侵检测可分为误用检测和异常检测。在过去十多年间,广泛使用的入侵检测产品大多基于误用检测。尽管该技术易于实现,但频繁的更新攻击规则库需要耗费大量的系统资源。异常检测具有检测到新型攻击的能力,但是高误报率影响了该技术的实际应用。目前,多数网络攻击是通过通信协议完成的,入侵引起的异常也表现为协议的异常。作为异常检测新的发展方向,协议异常检测对协议的正常数据建模,检测违反协议规定的行为或异常数据。本文在协议异常检测模型的构造、检测技术的综合应用以及检测算法的设计等方面进行了深入研究,取得了一些创新性的研究成果,主要内容包括：1.将隐马尔科夫模型(Hidden Markov Model, HMM)用于基于网络的异常检测,建立基于HMM的协议异常检测模型。该模型量化数据包的标志位,得到的十进制数字序列作为模型输入,极大减小了网络数据流对模型性能带来的压力,提高了模型的检测效率。其次,模型的建立和参数设定符合网络协议中标志位之间的关系,很好描述和代表了所对应的协议。在DARPA 1999入侵检测数据集上对模型进行测试,与基于马尔科夫链的协议异常检测算法相比,我们建立模型的性能要高于前者。2.研究网络数据的转移特性和频率特性,提出一个基于支持向量机的协议异常检测模型。不同于单独使用数据转移特性或频率特性所建立的模型,我们建立的模型结合了数据的两种特性。该模型使用Viterbi算法推导训练数据的最优状态序列,根据最优状态序列建立状态模式库,以少量短序列描述协议的正常状态转移规律,有利于处理海量数据。通过用短序列中标志位的频率分布训练模型和检测时计算观测序列的偏离度,使模型在保持较高检测率的同时有效控制了误报率。与单一使用转移特性的HMM检测模型相比,结合了转移特性和频率特性的协议异常检测模型具有更高的检测率,同时有效地控制了误报率,其综合检测能力达到令人满意的效果。3.将基于字符串核函数的协议异常检测算法用于网络异常检测。目前基于核函数的入侵检测方法大多使用主机数据,在网络方面的应用还处于初始阶段。我们研究了如何使用字符串核函数保留协议的状态信息,并应用于协议异常检测。在此基础上,我们通过削弱或减少攻击中正常数据对检测结果的影响,进一步提高了检测率。在DARPA 1999入侵检测数据集上的实验结果显示,基于马尔科夫核的检测算法在误报率为0的情况下,获得了98%的检测率,高于其它几种核函数。此外,基于变长度加权核的检测算法突显了异常数据,降低了大量正常数据对检测效果的影响。在此基础上,基于变长度加权一次核函数的检测算法进一步忽略了重复出现的正常数据对检测效果的影响,提高了检测率。4.提出一个基于条件随机场的协议异常检测模型。这种方法将网络连接中的数据包作为观测序列,量化数据包首部的标志位,计算标志位在连接中的出现频率作为观测序列的特征,有效利用了多个特征,避免了HMM的独立性假设。模型的训练和检测使用DARPA 1999入侵检测数据集,实验结果验证了所建立模型的准确性,同基于隐马尔科夫模型的检测方法相比,提出的方法在各个衡量标准上都要高于后者。我们根据核电厂实时信息系统中的网络情况,提出分布式的入侵检测与管理系统框架,并实现框架中的协议异常检测系统(Protocol Anomaly Detection System, PADS)。通过运行,协议异常检测系统可以“容忍”实际网络环境中非恶意的异常数据,在保证检测率的同时降低了误报率,并且系统的运行情况也验证了协议检测模型的可行性。