论文部分内容阅读
【摘 要】入侵检测是目前流行的安全防御技术，而漏报率和误报率居高也是目前大部分入侵检测系统面临的技术难题。本文通过引入数据仓库到入侵检测系统，利用数据仓库的优势，对用户行为进行预处理和分析，达到降低漏报率和误报率目的。并对数据仓库的功能结构、入侵检测数据仓库模块及其模型进行设计。
【关键词】入侵检测；用户行为；数据仓库；预处理
引言
数据仓库是一种新兴的数据管理和分析技术，适用于大量数据处理。入侵检测系统（IDS Intrusion Detection System）的数据来源多样化，数据量大、更新快[1]。利用数据仓库强大的数据处理能力，把入侵检测系统庞大的数据建立主题，进行切片分析，建立更为精确的入侵检测模型，减少漏报率、误报率。
1. 数据仓库功能结构设计
根据审计数据对数据仓库的应用需求，数据仓库从功能的角度可以分为数据采集、数据管理、分析处理几个层次。
（1）数据获取：从源数据库中获取网络数据包、系统事件日志（应用程序日志、 安全日志、系统日志）、WEB平台日志 （IIS、Apache），入侵检测日志等数据，并进行清洁传输，加入到数据仓库中，然后采取增量更新的方法，取得数据源中发生变化的数据。
（2）数据管理：建立以访问IP、URL、协议（端口）等为主题的多维数据模型（MOLAP），对预计算的汇总数据快速索引，建立渐增的更新机制，即在增加新的数据到数据仓库时，必须保护已有数据。
（3）分析处理：进行指标分析、数据挖掘（Data Mining）。主要有异常情况分析、系统安全状况分析、WEB访问分析、WEB平台状态分析。例如系统安全状况分析，可以结合已知访问目的对不明确目的的访问进行异常检测，分析系统是否可能出现安全漏洞。
（4）数据服务：主要包括对系统安全性能提升的一些建议，如WEB应用安全、WEB平台安全、应用程序安全和系统安全等建议。
2. 入侵检测数据仓库模块的实现
在Windows 2003 server操作系统下，采用Microsoft SQL Server 2005和SQL Analysis Services 2005实现中间数据库和数据仓库[2，3，4]。
2.1数据采集模块
由于数据源的分布、异构、自治的特性，因此数据采集模块采用多种数据访问技术，定义数据仓库的数据规则，对数据源进行界定。不同的审计数据，设置不同的采集方式，实现从系统的各个不同方面抽取所需要的数据，在第一次全部导入数据仓库后增量更新。在采集模块中，还有数据清洁，记录字段的重组、增补与原数据的一致性与完整性的检查，例如增加一些时间属性[5]。
2.2 中间数据库模块
采用SQL Server2005数据库管理系统作为中间DBMS，必须明确数据仓库的主题，全面考虑在构建数据仓库和数据立方体时所需的数据信息，设计所需数据与原数据库的关联关系，在保证提供数据倉库所需数据信息的前提条件下，尽量避免未更新数据的多次传输，减少数据的处理时间，以免影响系统的正常运行[6]。
2.3 数据传输模块
确定数据装入的次序，清除无效或错误的数据，对数据刷新。采用Microsoft SOL Server2005提供的数据转换服务（DTS）实现。该服务提供Oracle、Informix等大型数据库，可通过ODBC、OLEDB接口，实现不种格式的审计数据与SQL Server2005之间的数据传输转换。通过SQL Serve2005的数据转换服务建立数据仓库增量更新包。周期性地运行该增量更新包：方法1使用DSO控件编程周期性的调用；方法2设置调度包的属性周期[7]。
2.4 数据仓库模块
使用星型构架来构建数据模型。采用SQL Analysis Services2005建立数据仓库，针对访问IP、访问URL、协议等主题进行设计。如访问IP分析，主要从不同的时段、地理位置、访问密集度等对用户进行分析，从中找到不同IP段的用户访问特征，如时段，访问的网页内容、访问次数等进行，作为我们进行异常检测的依据。
2.5 联机分析模块
使用SQL Analysis Services2005建立数据仓库，但它并没有提供良好的界面及分析程序，所以必须采用Client/Server和Browser/Server相结合，实现该模块。数据仓库元数据显示使用ADOMD控件和DSO控件显示数据仓库信息、数据立方体、数据立方体的度量、层次等元数据。可在数据立方体上实现钻取、切片、切块、过滤等多维分析。
3. 入侵检测数据仓库模型设计
3.1 访问的IP数据仓库模型
IP 地址是我们进行TCP/IP通讯的基础，是上网计算机的标识，在检测恶意访问时显得尤为重要。关于它的具体数据包括IP的访问最多、最少的资源，使用协议最多、最少，访问成功与访问不成功等。它的维表分为：时间维、资源级别维，协议维，维。
3.2 访问资源数据仓库模型
计算机系统的资源按照安全的角度，我们可以把它分为用户可以合法访问的资源、用户访问受限资源的敏感资源、用户访问会造成巨大安全问题的危险资源资源等。用户访问或者尝试访问的一些敏感或危险资源是我们进行入侵检测很重要的一个方面。所以我们以访问资源作为数据仓库的主题之一，它的具体数据有：某危险资源访问次数、敏感资源访问次数、访问危险资源的IP、访问敏感资源的IP等，它的维表有：时间维、协议维、资源级别维、资源名称维，IP地址维等。
4.结束语
本文针对入侵检测系统处理数据的复杂性和多样性，将数据仓库应用于入侵检测系统，并对其进行设计。利用数据仓库强大的数据处理能力对经过预处理的可疑入侵行为进行分析，并在校园网络环境下进行模拟，结果显示其可提高入侵检测的正确率。
参考文献：
[1] 罗敏，张焕国，王丽娜.基于数据挖掘的主机人侵检测系统的研究与设计.武汉大学计算机学院软件工程国家重点实验室，2003：146-148.
[2] 仲元昌，李刚，王越，杨武.基于SQL Server 2000的企业数据仓库设计与应用，计算机科学2003Vo1.3：93-94.
[3] 朱晓武，张曙光.证券经纪业务数据仓库设计.软件技术与数据库.2003.3：84-85.
【关键词】入侵检测；用户行为；数据仓库；预处理
引言
数据仓库是一种新兴的数据管理和分析技术，适用于大量数据处理。入侵检测系统（IDS Intrusion Detection System）的数据来源多样化，数据量大、更新快[1]。利用数据仓库强大的数据处理能力，把入侵检测系统庞大的数据建立主题，进行切片分析，建立更为精确的入侵检测模型，减少漏报率、误报率。
1. 数据仓库功能结构设计
根据审计数据对数据仓库的应用需求，数据仓库从功能的角度可以分为数据采集、数据管理、分析处理几个层次。
（1）数据获取：从源数据库中获取网络数据包、系统事件日志（应用程序日志、 安全日志、系统日志）、WEB平台日志 （IIS、Apache），入侵检测日志等数据，并进行清洁传输，加入到数据仓库中，然后采取增量更新的方法，取得数据源中发生变化的数据。
（2）数据管理：建立以访问IP、URL、协议（端口）等为主题的多维数据模型（MOLAP），对预计算的汇总数据快速索引，建立渐增的更新机制，即在增加新的数据到数据仓库时，必须保护已有数据。
（3）分析处理：进行指标分析、数据挖掘（Data Mining）。主要有异常情况分析、系统安全状况分析、WEB访问分析、WEB平台状态分析。例如系统安全状况分析，可以结合已知访问目的对不明确目的的访问进行异常检测，分析系统是否可能出现安全漏洞。
（4）数据服务：主要包括对系统安全性能提升的一些建议，如WEB应用安全、WEB平台安全、应用程序安全和系统安全等建议。
2. 入侵检测数据仓库模块的实现
在Windows 2003 server操作系统下，采用Microsoft SQL Server 2005和SQL Analysis Services 2005实现中间数据库和数据仓库[2，3，4]。
2.1数据采集模块
由于数据源的分布、异构、自治的特性，因此数据采集模块采用多种数据访问技术，定义数据仓库的数据规则，对数据源进行界定。不同的审计数据，设置不同的采集方式，实现从系统的各个不同方面抽取所需要的数据，在第一次全部导入数据仓库后增量更新。在采集模块中，还有数据清洁，记录字段的重组、增补与原数据的一致性与完整性的检查，例如增加一些时间属性[5]。
2.2 中间数据库模块
采用SQL Server2005数据库管理系统作为中间DBMS，必须明确数据仓库的主题，全面考虑在构建数据仓库和数据立方体时所需的数据信息，设计所需数据与原数据库的关联关系，在保证提供数据倉库所需数据信息的前提条件下，尽量避免未更新数据的多次传输，减少数据的处理时间，以免影响系统的正常运行[6]。
2.3 数据传输模块
确定数据装入的次序，清除无效或错误的数据，对数据刷新。采用Microsoft SOL Server2005提供的数据转换服务（DTS）实现。该服务提供Oracle、Informix等大型数据库，可通过ODBC、OLEDB接口，实现不种格式的审计数据与SQL Server2005之间的数据传输转换。通过SQL Serve2005的数据转换服务建立数据仓库增量更新包。周期性地运行该增量更新包：方法1使用DSO控件编程周期性的调用；方法2设置调度包的属性周期[7]。
2.4 数据仓库模块
使用星型构架来构建数据模型。采用SQL Analysis Services2005建立数据仓库，针对访问IP、访问URL、协议等主题进行设计。如访问IP分析，主要从不同的时段、地理位置、访问密集度等对用户进行分析，从中找到不同IP段的用户访问特征，如时段，访问的网页内容、访问次数等进行，作为我们进行异常检测的依据。
2.5 联机分析模块
使用SQL Analysis Services2005建立数据仓库，但它并没有提供良好的界面及分析程序，所以必须采用Client/Server和Browser/Server相结合，实现该模块。数据仓库元数据显示使用ADOMD控件和DSO控件显示数据仓库信息、数据立方体、数据立方体的度量、层次等元数据。可在数据立方体上实现钻取、切片、切块、过滤等多维分析。
3. 入侵检测数据仓库模型设计
3.1 访问的IP数据仓库模型
IP 地址是我们进行TCP/IP通讯的基础，是上网计算机的标识，在检测恶意访问时显得尤为重要。关于它的具体数据包括IP的访问最多、最少的资源，使用协议最多、最少，访问成功与访问不成功等。它的维表分为：时间维、资源级别维，协议维，维。
3.2 访问资源数据仓库模型
计算机系统的资源按照安全的角度，我们可以把它分为用户可以合法访问的资源、用户访问受限资源的敏感资源、用户访问会造成巨大安全问题的危险资源资源等。用户访问或者尝试访问的一些敏感或危险资源是我们进行入侵检测很重要的一个方面。所以我们以访问资源作为数据仓库的主题之一，它的具体数据有：某危险资源访问次数、敏感资源访问次数、访问危险资源的IP、访问敏感资源的IP等，它的维表有：时间维、协议维、资源级别维、资源名称维，IP地址维等。
4.结束语
本文针对入侵检测系统处理数据的复杂性和多样性，将数据仓库应用于入侵检测系统，并对其进行设计。利用数据仓库强大的数据处理能力对经过预处理的可疑入侵行为进行分析，并在校园网络环境下进行模拟，结果显示其可提高入侵检测的正确率。
参考文献：
[1] 罗敏，张焕国，王丽娜.基于数据挖掘的主机人侵检测系统的研究与设计.武汉大学计算机学院软件工程国家重点实验室，2003：146-148.
[2] 仲元昌，李刚，王越，杨武.基于SQL Server 2000的企业数据仓库设计与应用，计算机科学2003Vo1.3：93-94.
[3] 朱晓武，张曙光.证券经纪业务数据仓库设计.软件技术与数据库.2003.3：84-85.