流数据管理关键技术研究与应用

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:gutian163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网技术的飞速发展,各种高速、大容量的实时流数据处理已遍布各种应用领域,如网络监控、金融分析、网络入侵检测、传感网络、Web日志以及点击流等,这些应用领域产生的数据以流的形式出现,具有快速、无限、连续、速率不断变化、实时的特点,使得传统的数据库技术在处理这种新型的数据模型时面临了诸多严峻的挑战。   本文分析了目前流数据管理研究领域的各种技术的优势和存在的问题,重点对分布式异构流数据集成、流数据存储以及流数据频繁项挖掘的降载问题这三个方面开展了研究,最后设计并实现了面向高速网络的综合网络安全实时监测系统。   首先,各种分布式异构流数据集成问题。在许多分布式监控应用中,需要集中处理网络上各个节点的数据,这些数据存在格式、规范以及标准的不统一,需要进一步转换和集成,以便处理系统能够综合处理各种异构的数据。基于现有的数据集成转换技术和流数据处理技术,本文提出一种基于流数据管理系统的分布式异构流数据集成方法。通过系统实现和实验分析,证明该方法能够较好的解决网络安全实时监测系统的数据集成问题。   其次,存储空间问题。需要处理的流数据是无限的,不可能完全存储起来后再处理。因此,本文结合网络安全监测应用领域和流数据特点,提出了一种基于时间多粒度的存储策略。实验证明,该策略能够较好的降低存储空间,同时保证了数据的完整性。   再次,流数据处理过程中的过载问题。在有限资源下实现对无限流的实时处理是一个难题。本文针对流数据频繁项挖掘过程中出现的过载问题,提出了一种面向流数据频繁项挖掘的降载策略。实验证明,该降载策略能够有效地保证流数据频繁项挖掘的结果。   最后,以网络安全监测应用为落脚点,设计并初步实现了面向高速网络综合安全实时检测系统原型。该系统能够集成各种网络设备的网络流数据以及历史流数据,能够实时检测各种网络状态和异常信息。通过实验和系统测试,验证了上述研究的正确性和有效性。
其他文献
目前在很多网络领域中应用的对等网技术是近些年发展起来的一种网络技术,且快速成为业界研究与关注的焦点和热点。可是在对等网的发展及壮大过程中,产生了一系列需要研究和解
由于材料科学以及其自身的特点,使其存储系统在计算机系统中逐渐成为了瓶颈,操作系统中包括文件系统,驱动等层次模块不得不为其进行优化(如磁盘模型)。虽然近几年来,材料科学
我国大多数陆上油田已经处于开采中后期阶段。在中后期或低产油井开采中,油井产液量波动范围大,常用的抽油机系统工况不能随着油井产液量的变化而改变,导致频繁出现“空抽”
随着信息技术和网络技术的高速发展,企业的生存和发展对数据的依赖越来越大,企业越来越重视对数据的保护,很多企业不惜花巨资购买数据备份系统。随着备份产品的不断升级以及
近些年,对等模式(Peer-to-Peer mode,简称P2P)技术的广泛应用造成骨干网中P2P流量逐年递增,占用了超过半数的互联网带宽,基本上统治了整个互联网。由于互联网资源是有限的,P2P流量
随着通信网络的发展,手机短信、网络聊天以及新兴的信息形式微博等短文本发生了爆炸式的增长,使得它们在网络信息流中占有越来越重要的地位。为了应对如此海量的短文本信息处理
中国银联联合营销系统目的是将所有的银联卡的积分实现统一流通。它由联机交易、批量、服务和管理四个子系统组成,本论文实现的是联机子系统的部分功能。联机子系统用于处理C
随着计算机领域的不断发展,计算机安全方面已经出现很严峻的挑战,特别是在信息安全方面。在计算机安全发展的过程中,入侵检测的地位呈现出越来越重要的趋势,入侵检测的研究也
功能成像是当前核医学和医学影像学研究的一个热点领域,它结合计算机图形图像学、计算机影像处理与分析、虚拟现实和计算机网络等研究领域,主要研究生物体的生理功能,目标是显示
移动定位技术的广泛使用促进了基于位置的服务(LBS)的迅猛发展,人们已经充分地认识到个人位置隐私保护的重要性,基于位置的数据隐私保护逐渐成为研究热点。匿名位置信息可能