随着网络技术的发展,人们对网络的依赖性越来越强,涉及计算机及其网络的安全问题越来越突出。入侵检测作为是安全体系结构中的重要环节,是对入侵进行响应的基础,同时也为进一步的预防入侵提供参考信息。近年来,围绕网络数据进行入侵检测的研究开展较多,但是随着网络带宽的增加和网络流量的加大,人们通过网络进行各种生活应用和信息管理越来越普遍,传统的面向底层数据的检测逐渐暴露出一些问题和困难,例如无法及时或者准确地检测日益变化的各种入侵行为。因此,面向应用层面的入侵检测应运而生,它是入侵检测技术发展的一个重要方向。本文主要围绕发生在主机上的异常行为展开研究,探索检测主机异常行为的方法和技术。首先研究了行为检测的基础性工作——行为特征选择,通过研究行为特征选择算法选择准确的刻画行为的特征,为检测各种行为创造条件。而后,围绕主机行为的三个层面,按照由低到高、由内到外的行为顺序展开研究。软件运行过程中的行为对主机来说是一种较底层的行为,而用户使用计算机的行为是一种高级的综合行为,涉及到多个程序的综合行为表现。网络浏览器作为沟通主机和网络的桥梁,其对主机资源的访问使用行为,则是从主机之外对主机内部实施的外部行为。论文主要研究内容和贡献如下：(1)基于信息理论的行为特征选择的研究。针对行为属性多样性的情况,在论述有关信息理论的基础上,提出基于条件熵计算各种属性与攻击之间的相关程度,然后在相关程度比较大的属性间利用交互熵计算其相互依赖性,将相互依赖性强的属性剔除,保留相关程度大,并且冗余信息量少的属性特征。这样不仅保持了特征选择的准确性,也能进一步降低了入侵检测的计算量,实验证明能在一定程度上提高检测效率。(2)软件异常行为检测技术研究。针对进程的异常行为检测,围绕表征进程行为的系统调用序列展开研究,提出了利用长度不限的满足一定支持度的系统调用短序列作为程序正常环境下的特征模式,在此基础上改进了HMM,提出了DBCPIDS检测模型。在检测前,首先发掘表征全局行为的特征模式,再对IHMM进行训练,建立改进的隐马尔科夫链。该模型将全局的程序特征和局部的动态行为进行了有机结合,适合于在线检测,且实验证明实时性强、检测率高、误报率低,有较好的适应环境变化的能力。(3)异常用户行为检测模型研究。针对异常用户的检测,围绕用户使用程序的行为习惯展开研究,吸收了本体理论中的本体及语义的概念,利用用户的日常使用计算机程序或者服务的行为建立行为习惯语义关系图。将使用过的程序作为节点,使用的先后顺序关系为有向边,将有向边称为语义关系,并定义相应语义关系的重要程度。检测时,实时捕获用户使用程序的情况,并建立阶段行为语义关系图,计算该图与行为语义关系图的偏离程度,超过一定限度时认定为异常行为。实验证明,行为语义关系图能较好地描述用户使用计算机的行为习惯,检测异常行为时检测率和准确度都比较高。(4)浏览器使用主机资源行为的多证据融合方法研究。针对功能日益繁多的浏览器行为,分析了其行为规律,选择其CPU占用情况等五种特征作为其行为证据,分别计算相应的表征异常行为的基本信度,利用D-S证据融合理论,将五种基本异常行为的证据融合为一个新的证据,再根据新证据对异常行为支持的信度判定浏览器行为是否异常。实验证明,该算法能较好地发现通过浏览器进行的攻击行为。