Argus系统中的分布式流查询处理框架和Top-k算子实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:dalianmaowh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着工业控制、交通管理、环境监测、网络监测等各个领域中数据流应用的大量出现,数据流上的查询处理成为近年来研究的热点问题。这些应用中的数据通常来源于多个计算设备,形成了分布式的数据流。目前已有的数据流管理系统大都采用将分布式数据流汇总后进行集中式查询处理的方法。对于许多分布范围广、数据流速快的应用来说,汇总所有数据所需的网络开销巨大,是昂贵而且不现实的。 本文结合Argus系统原有的模块化结构,设计并实现了Argus系统中的分布式流查询处理框架。通过这一框架,查询首先被解析成查询网络中的若干算子,随后这些算子被放置在不同的数据源节点上,由所有节点共同完成查询处理的工作。 在上述分布式流查询处理框架下,本文提出了一种适用于各种聚集查询的基于树形执行网络的近似查询处理算法,由中央协调节点将误差合理分配给每个数据源节点,从而降低通信次数并维护误差范围内的近似查询结果。树形执行网络的设计,用层间通信的方法解决了中央协调节点同时与所有数据源节点通信所导致的“中央瓶颈”问题。 最终我们以Top-k查询为例,实现了树形执行网络上的近似查询处理算法,同时还提出了Top-K查询处理的自适应k′算法,通过自适应地调整k值大小,来进一步提高Top-k查询的执行效率。
其他文献
P2P技术近几年来发展迅速,在文件共享、即时通讯、多媒体传播、信息检索、网络游戏等众多领域都有广泛的应用。P2P系统中的节点共享彼此的资源,包括计算能力、存储空间、网络带
近年来,基于生物特征的身份识别技术取得了快速发展,手写笔迹鉴别技术是其中的重要研究方向,已经引起越来越多人的重视。文本独立笔迹鉴别技术因为其安全性高、普适性强、样本采
P2PSIP采用结构化对等网络技术DHT支持标准信令协议SIP,具有良好的可扩展性、可靠性和经济性,在网络电话、即时通信、在线游戏等应用领域非常有竞争优势,应用前景非常广阔。然而
随着网络的发展和电子邮件的普及,垃圾邮件的数目飞速增长。大量涌现出来的垃圾邮件,不仅耗费了大量网络带宽和计算机时间空间开销,而且对用户的正常工作造成了严重的干扰。为了
伴随着计算技术的发展,在实际应用需求的推动下,数值计算得到了长足进步。数值软件尤其是并行数值软件是当前数值计算应用的关键环节。日益增多的大规模、复杂实际应用问题,对数
XML(Extensible Markup Language,可扩展标记语言)是由万维网联盟(WorldWide Web Consortium,W3C)定义的一种标记语言,由于其跨平台、与软硬件无关的特性,目前已被广泛用于组织、
奥运信息系统作为大型信息系统是奥运会管理、支撑、运作的关键基础设施,是奥运会成功举办的主要因素之一。通过建立简明准确的模型是分析和设计奥运信息系统的关键。 奥运
嵌入式操作系统面向的应用领域十分复杂,这要求嵌入式操作系统具有可配置、可剪裁的能力。将基于构件的软件开发方法应用于嵌入式操作系统领域,不仅可以使嵌入式操作系统具有可
随着大规模网络存储系统的发展,基于P2P结构的存储体系由于可扩展性、健壮性以及性能的优势,越来越受到人们的重视。文件的可用性是存储系统最重要的属性之一,可用性水平的高低
垃圾邮件问题已经成为当今Internet的灾害。垃圾邮件是指那些未经收件人许可就发送到收件人邮箱的电子邮件。垃圾邮件每年都在造成大量的金钱损失、生产力浪费,并且造成Intern