并行频繁项挖掘算法的设计与实现

来源 :南开大学 | 被引量 : 0次 | 上传用户:baobei871011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
频繁项挖掘算法在网络监控领域具有广泛的应用。利用频繁项挖掘算法识别网络中的大流量,可以实时检测网络中的异常及拥塞情况、辅助服务商流量计费等。但是,随着骨干网络链路带宽和流量的增长,网络流监控系统对性能要求越来越高。虽然目前已有单数据项处理时间O(1)的频繁项挖掘算法,但是单核CPU主频已经接近极限,无法满足骨干网中网络监控的需求。近年来,多核处理器发展迅速,即使是标准的工作站也有4-8核,具有很强的并行计算能力。本文试图设计并行的频繁项挖掘算法,充分利用多核处理器的并行计算能力,从而提高频繁项挖掘算法的吞吐量。   论文首先介绍了常见的频繁项挖掘算法,对现存的并行频繁项挖掘算法进行了分析,并总结了它们的优点和缺点。在这个基础上,本文提出了自己的并行频繁项挖掘算法,该算法基于无共享设计,即本地线程不共享数据,也不需要像精度合成法那样需要向汇聚线程发送数据项。接着论文对算法的正确性进行了证明,并详细介绍了本算法的各个模块的实现过程和技术细节。最后论文验证了本算法在不同的数据分发策略下的性能,结果表明,本算法在使用hash法和轮转法进行数据分发时,算法的吞吐量超过其它的并行设计,最大加速比达到了物理CPU核数。
其他文献
随着微惯性传感器在智能手机上的广泛普及,基于微惯性传感器融合的手机3D运动轨迹还原技术正在成为新一代人机交互的研究热点。该领域当前尚属兴起阶段,随着智能手机的逐步普及
目前,随着时代的不断发展,新型武器装备不断陆续装备到部队,提高了部队的战斗力,而随着新型武器装备的不断运用,也使得作战思想和作战理论发生了深刻的变革,信息化条件下的“非线性
遥测数据处理系统在航天任务中具有重要位置,是确保航天任务安全试验、提高工作效率的重要手段。目前为了提高航天产品测试过程中遥测数据处理可靠性,要求航天靶场对遥测数据进
自1962年Petri网模型被提出以来,Petri网理论已被广泛应用于离散时间动态系统、智能系统、通信协议以及任务规划和性能评价等诸多领域。随着应用领域的不断拓展,Petri网的局限
运动目标检测融合了图像处理,模式识别,自动控制,人工智能等多领域技术,在视频监控,军事视觉制导,智能交通等领域都有着广泛的应用。本文根据实际应用对目标检测系统的易用性和便携
随着计算机和网络技术的迅猛发展,通过计算机网络的信息交换变得前所未有的简单高效。传统模式的数据管理模式已经被时代的发展淘汰,特别是跨地域、规模较大的企业,这种的纸
云存储是云计算体系中的重要组成部分。它通过将存储资源重新整合,很大程度地提升了存储资源的利用效率,减少维护所需的人力资源,进而降低数据存储的成本。它的按需购买模式和可
在网络技术快速发展的今天,网络视频数据的产生、传输和存储的要求也越来越高。同时,视频监控的使用范围逐渐深入到人们生活的各个方面,大数据量高清视频成为安全生活的必不
随着传感器技术、无线通信技术和嵌入式技术的发展,无线传感器网络在医疗监护、环境监测、空间探索和军事侦察等领域均得到了广泛的应用。孤立的传感器网络在应用中存在着诸
随着企业规模的扩大、业务的发展,数据库服务器本身的磁盘空间已经无法满足日益增长的业务需求,而由于服务器硬件故障造成宕机,进而引发的业务中断,更成为IT管理者们的噩梦。因此