论文部分内容阅读
在数据挖掘和数据分析研究领域中,最近出现了一个新的研究方向,即数据流的挖掘与分析。在网络监控、入侵检测、情报分析、金融服务、股票交易、电子商务、电信、Web页面访问和科学研究等众多领域中,数据以流的形式出现。由于数据流的特殊性,短时间内有大量数据连续到达,这些数据具有随时间动态变化的趋势,怎样对这些数据流使用有限存储空间进行快速处理以获取有用信息,为数据挖掘及其应用研究带来了新的机遇和挑战,也具有很重要的意义。油田计算机网络建设正日趋完善,油田开发和生产科研工作中的大量信息已经实现网上传输,信息共享的数量和质量得到大幅度提高,开发基于多服务器、大信息量的数据库信息网络监控系统,提供多方位监控信息建设质量和管理过程的手段,及时全面准确地了解掌握每天用户对数据库的使用情况,使网上服务器中的数据信息管理变得可视和透明,通过计算机程序运行取代传统的人工信息管理模式,是迫切需要解决的问题。本论文主要研究了以下几个方面的内容:(1) 通过对国内外数据流技术系统的研究,总结出关于数据流、数据流查询、数据流挖掘以及数据流管理系统(DSMS)的基本特点、模型以及关键技术等。(2) 大庆油田采油二厂各生产部门每天用 PDPMIS 系统连续的向网络中心传送大量生产数据,本论文把流动的数据集看做一个特殊的数据流,把数据流管理系统(DSMS)做为传统数据库系统的扩展。提出了一个基于数据流挖掘的油田网络监控系统模型,模型添加了用户接口、数据监控、查询处理器、存储区等系统模块,其中在数据流挖掘模块里通过 Operators 的连接,系统能够通过过滤、聚集、分类,或者忽略某些特定的数据元素。(3) 油田生产中,更为感兴趣的问题是近来哪些模式反映较为异常,本论文研究了数据流异常模式的提取。设定的域值条件为采油厂多年的经验值,采用 XML 结合数据流系统的方式增强系统的可扩展性。同时介绍了一个数据挖掘环境-YaLE (Yet Another LearningEnvironment) 和针对时间序列数据流处理实时和模拟的概念漂移的一个插件工具 Conceptdrift plugin。并给出了一个集成学习器 KBS-数据流(Bayesian Boosting for Streams)实验的样例以及一个数据流可适应的时间窗口配置文件。(4) 介绍了油田网络监控系统的设计与实现,系统将报警条件设定的域值保存到 XML文件里,采用 DOM 访问 XML 文件;利用了 ORACLE 的审计、触发器、JOB 等功能结合JAVA 程序对网络中数据库操作情况、生产数据质量等进行全面的监控,并对异常情况进行报警提示,为兼顾时间和速率以及实际的需求,结合了实时和延时的方式,采用分层报警。以实际项目为依托,对流数据管理系统和流数据挖掘研究提供了一些经验和思考。