分布式数据流的Top-K查询研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:yl723694886
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,随着通信技术和计算机技术的不断发展,一种新型的数据模型--分布式数据流,得到越来越多的关注。它广泛应用于金融、网络监视、通信数据管理、传感器网络等众多领域。分布式数据流除具有数据量大、数据到达速率快、数据无限性等特点外,还具有数据源分布、各个数据源之间需要同步协调等特点。本论文主要研究分布式数据流环境下的Top-K查询问题,即对分布于不同地理位置的同一组对象的观测流数据进行分析,从而得到数值最大的K个对象(Top-K观测查询)。 首先通过实现一种基于滑动窗口的数据结构解决了数据流上的数据采集问题,将有效数据完全存储于内存中,既满足应用的需要,又提高系统的响应速度和效率。其次,在分布式系统中的数据传输方面,提出并实现了一种基于索引的Counter Bloom Filter的算法,对传输数据进行有效的压缩,从而降低分布式网络中的网络流量。最后,在对一种分布式Top-K查询算法研究的基础之上,提出并实现了一种新型的基于动态修正值的分布式数据流Top-K查询处理算法。通过实验分析,该算法在降低网络拥塞和网络负载方面有着突出的效果。 总之,本论文在分布式数据流环境下,对流数据的数据采集、数据压缩传输和分布式Top-K查询三个方面进行了研究,研究结果对于降低分布式网络负载、降低网络拥塞和提高分布式数据流系统响应速度具有较好的理论和实用意义。
其他文献
VoWLAN(Voice over WLAN)是一种在无线局域网(WLAN,Wireless Local Area Network)中承载VoIP(Voice over InternetProtocol)的新型业务,因其显著的成本优势成为全球电信运营
学位
图像分割是计算机视觉领域中的最重要并且也最具挑战性的研究领域,它可以应用于视觉领域的多个方向,比如物体检测,场景分析和物体识别等。传统的图像分割方法主要是关注单张
AAA协议是为了对终端访问服务和PPP拨号服务实行访问控制而开发的。随着互联网的进一步发展和新的接入技术的引入(如无线接入、DSL、移动IP和以太网),迫切需要新一代的AAA技
信息隐藏技术与隐写检测技术是信息安全的一个重要研究方向,其在近几年发展很快。由于数字图像表征信息冗余量大,所以信息隐藏技术通常以数字图像作为隐写载体,而企业防火墙
HTML 作为 Internet 上传统的描述语言,随着网络应用的深入其局限性逐渐显现,XML 已经成为互联网上数据表示和数据交换的标准格式。随着 XML 数据的增加,如何有效地存储和管理 X
加工和装配同时处理的调度优化问题的研究,可缩短产品的生产周期,为企业带来更大的经济利益。由于传统的单车间综合生产调度问题具有工厂车间封闭性和不可协调性的限制问题,无法使企业在竞争中脱颖而出,于是对产品在分布异地的多车间综合生产调度提出了新的任务。针对产品在对称二车间生产加工的问题,考虑产品加工工艺树中叶子节点调度生产无约束和可抢占加工设备的特点,对工艺树进行分批次处理,建立以上一批次叶子节点工序的
在具有分布式结构的嵌入式系统中,嵌入式设备之间通过通信以协作的方式来共同完成复杂的计算任务。然而,嵌入式系统平台之间的差异性在一定程度上阻碍了设备之间的通信。如果
相对于传统学习资源在人员、地域、时空等诸多条件上的限制,网络学习资源为我们提供了大量、全面、开放的学习资料,也为网络学习(E—Learning)提供了必要的基础保障。而随着E—
研究蛋白质的折叠是生命科学领域的前沿课题之一。蛋白质是一种生物大分子,是由20种氨基酸以肽键连接成肽链,在空间卷曲折叠成为特定的三维空间结构。因为蛋白质只有在特定的三