随着互联网的迅速普及与广泛应用，网络的安全问题也日益严重。近年来，作为维护网络安全的一项主要技术，入侵检测技术得到了广泛的关注。但是，现有的入侵检测系统还存在很多的问题，例如，系统的检测准确率低，但是误警率却居高不下。另外，系统不能实时地检测新的攻击。导致上述问题的主要原因之一就在于，现有的入侵检测方法并没有考虑到入侵检测系统本身所具有的不确定性和不完备性。入侵检测系统所面对的网络环境是相对开放和复杂的，因此系统具有不确定性、不完备性等特征。然而，现有的入侵检测方法通常假设其所处理的原始数据都是确定的和完备的，缺乏有效的机制来处理不确定和不完备数据。为了有效处理入侵检测系统所具有的不确定性和不完备性，本文将利用粗糙集理论来表示和处理入侵检测系统中的不确定和不完备数据，并且将粗糙集和离群点挖掘技术结合在一起来检测入侵。针对入侵检测系统中的不确定和不完备数据，我们基于粗糙集理论提出两种数据预处理算法：基于相对决策熵与加权相似性的数据补齐算法、基于近似决策熵的属性约简算法。在上述两种数据预处理算法基础上，我们进一步提出一种基于离群点挖掘的入侵检测方法，从而构建一种新的入侵检测模型。我们所构建的模型可以有效处理入侵检测系统中的不确定、不完备数据，从而可以在一定程度上解决现有的入侵检测系统所存在的问题。本文的工作主要包括以下几个方面：（1）提出一种基于相对决策熵与加权相似性的粗糙集数据补齐算法。针对现有的粗糙集数据补齐方法所存在的问题，本文提出一种新的加权相似性的概念，并使用相对决策熵来计算属性重要性，从而设计出一种基于相对决策熵与加权相似性的粗糙集数据补齐算法。我们在真实数据集上验证了该算法的有效性。（2）提出一种基于近似决策熵的属性约简算法。针对现有的基于信息熵的属性约简算法所存在的问题，本文提出了近似决策熵这一新的信息熵模型，并基于近似决策熵设计出一种新的属性约简算法。我们在多个UCI数据集上进行了实验，相对于传统的算法，我们的算法可以取得较小的约简和较高的分类精度，并且具有较低的计算开销。（3）提出一种基于离群点挖掘的入侵检测方法。我们对传统的基于距离的离群点检测算法进行改进，并将其应用于入侵检测中。针对传统的基于距离的离群点检测算法不能有效处理离散型属性的问题，本文基于粗糙集理论提出一种针对离散型属性的距离度量，并由此设计出相应的离群点检测算法。通过把入侵行为看作是离群点，我们将所提出的离群点检测算法应用于入侵检测中，从而得到一种新的无监督入侵检测方法。我们采用入侵检测领域中广泛使用的KDD Cup99数据集来验证该方法的有效性，相对于传统的方法，我们所提出的方法具有更好的入侵检测性能。