数据流环境下无阻塞连接算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:l_chuanfei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络的普及,信息处理技术有了一些新的应用领域,例如,传感器网络,网上在线交易系统,股票行情实时监控。在这些应用中,数据不再是静态的,而是一种实时的、不稳定的流式数据,称之为数据流数据,同时应用系统要求数据的处理结果能够及时地,分批次地,无阻塞地反馈给用户。传统关系数据处理技术突显出其局限性,数据流上的关系查询处理技术成为数据库研究领域的一大热点。在数据查询中,关系连接算法则是一个制约查询处理性能的重要因素。在数据流上的关系连接算法其时间复杂度必须能适应数据流的传输速度实现无阻塞连接,其空间复杂度必须能够充分利用有限的内存空间处理大量的流数据。为了提高其性能,需要维护一个尽量小的连接状态,并利用数据的分布特征设计约束条件来进行状态简化。同时,要充分利用多级存储系统,优化数据在内外存之间的刷新策略。为两个相连接的关系流分别划分内存分区M和外存分区D,利用内存的缓冲作用将数据流上的关系连接划分为MM,MD,DD三个阶段。随着网络的传输速度的变化,连接过程在三个阶段之间按照一定策略进行切换,充分利用网络延迟的间隙,提高连接效率,实现无阻塞连接。优化无阻塞连接算法的关键在于提高内存连接阶段的效率,当内存空间满时,需要将内存数据刷新到外存相应分区,良好的刷新策略对于改进算法的性能至关重要。利用数据分布的特征,对关系连接的输出流,使用基于Bloom Filter结构的关键字统计方法,查找使用频率最低的元组,将统计的结果反馈回内存刷新阶段,在刷新阶段根据统计结果,将使用频率较低元组刷新到外存,提高内存数据的效率。基于输出流的统计分析策略提高了刷新策略的准确性和效率以及无阻塞连接算法的可适用范围。
其他文献
电力系统规模逐渐增大,数据量提升,而当前的计算技术缺乏关于数据整体特征的描述,无法根据现有的数据准确充分做出决策。将计算机领域的数据挖掘技术应用于电力系统的暂态稳定评估领域,研究大数据量处理前提下的电力系统计算方法,对于提高电力系统计算水平将有巨大帮助。电力系统暂态稳定评估存在两个主要问题:一是参与分析评估的训练集不足以覆盖整个样本空间,所选特征变量不能全面、正确地描述电力系统的运行状态,导致分类
随着多媒体技术和互联网技术的飞速发展,数字告示系统以其灵活高效、多区域、多元素和实时播放等特点得到越来越广泛的应用,同时也获得了人们的一致好评,被誉为“第五媒体”。但
无线传感器网络(WSN)的MAC协议处于网络协议的底层部分,它决定无线信道的使用方式,对无线传感器网络的性能有极大影响,是保证无线传感器网络高效通信的关键网络协议之一。传
三维地形场景视景仿真技术是近年来在虚拟现实领域中一项重要的技术,它以三维地形网格为主,结合多媒体、立体视觉、传感技术创造出一个身临其境的虚拟世界。三维地形技术是视
目前移动商务发展迅速,但是图形化应用是移动商务面临的一个的问题。虽然移动终端市场对J2ME的支持较为普遍,但是网络传输能力较弱,即使3G网络会提高网络传输速度,移动终端更
随着无线网络与可移动设备的发展,移动计算正逐步成为分布式计算的主流,移动计算使得人们在保持网络连接的同时能够自由移动,这促进了许多新的分布式应用的出现。但是移动计
随着我国信息化进程的深入和电子政务的建设,大量的社会和经济信息已经电子化。而由于国际政治经济的交流和发展,如何向世界范围内发布这些相关的信息成为一个现实需求。近年
自然界中生物体优胜劣汰,不断由低级向高级进化。人们通过观察这些适者生存的法则构成了一些优化算法。优化算法的本质是在众多解中寻找到一个最优的解,使得系统在满足一定约
由于Web上海量的信息处于不断的变化中,通用搜索引擎已经很难再为用户提供一个准确并且更新及时的信息搜索服务,其局限性在于它试图索引全部Web并且试图服务于所有主题的查询请
随着用户对数据安全和数据有效利用的要求不断提高,备份系统对数据的处理已经不再是简单的数据拷贝,而是存在大量种类繁多、功能各异的数据处理。目前现有的备份系统虽然功能强