【摘 要】
：
随着信息通信技术(ICT)的发展,数据获取变得便捷,数据流处理技术在工农业监控、通信、金融分析、物联网系统等领域得到广泛应用。数据流具有实时性、易失性、无限性、突发性
论文部分内容阅读
随着信息通信技术(ICT)的发展,数据获取变得便捷,数据流处理技术在工农业监控、通信、金融分析、物联网系统等领域得到广泛应用。数据流具有实时性、易失性、无限性、突发性、无序性等特征。由于数据流到达速度快、数据量大,系统在极短的一段时间内需要处理大量的数据,传统的数据库系统难以胜任。面向大数据流的高效存储、索引成为数据库界面临的一个挑战性研究议题。本文在分布式集群环境下,提出了一种面向流数据的分布式内存B+树索引。该索引基于二级B+树结构,采用时间窗口机制,将数据流切分成连续的时间窗口分片,每个时间窗口构建一颗内层B+树,将该内层B+树根节点信息和根节点地址作为一个“value”值,以时间窗口时间生成“key”值,形成元组,用于构建外层B+树,实现大数据流的分布式高效存储,可提供高并发、低时延的索引服务。本文主要贡献如下:1.提出了多次微批量排序单次批量装载(MBSort SBLoad)的内层B+树构建方法。该方法采用创新的批量装载方式,提出先构建B+树骨架再赋码,完成B+树构建,构建速度快、时延低、但在缓存流元组过程中无法提供近实时查询。2.提出了多微批量排序多批量装载(MBSort MBLoad)的内层B+树构建方法。将时间窗口分片,每个分片缓存完成后进行排序并构建B+树。该方法在保证构建速度的基础上,在缓存流元组时提供近实时查询。3.提出了一种面向流数据的分布式内存B+树索引系统。该索引采用二级B+树结构,将数据缓存、索引构建、数据查询三者分离,在实现大数据流高效存储的同时,快速构建索引,并提供高并发的查询服务。所提方法解决了传统B+树无法维持数据流持续频繁更新的问题。实验验证了所提方法的有效性。
其他文献
目的:筛选可用于急性肝损伤防治的双歧杆菌菌种,并揭示其作用机制。方法:收集健康成人的粪便,厌氧条件下分离纯化出15株双歧杆菌菌株。查阅大量文献后,挑选出其中5株(Bif-LI0
设备到设备(Device-to-Device,D2D)的通信是不通过基站转发在设备之间进行直接通信的技术,由于它能够获得更高的频谱利用率和降低移动设备的功耗,因此成为LTE-A的关键技术之
本文首先阐述了医药零售企业的研究内容、研究方法和创新点所在。分析了为什么医药零售行业的并购重组势不可挡,探讨了医药零售行业并购大潮产生的原因和近几年我国并购的数
随着智能终端设备的爆炸性增长,人们对网络容量的需求越来越高。异构网络能够显著地提高室内用户的覆盖范围和整个网络的容量,吸引了工业界和学术界的广泛关注,被认为是下一
在制糖企业制糖生产中,在制糖生产阶段的必要过程是农务管理,能够直接改变制糖企业效益的好坏,还可关联到众多蔗农的收入,影响范围较广。农务管理的效果,可以影响甘蔗生产糖
随着当前互联网技术与应用的飞速发展,传统的以主机为中心的TCP/IP网络逐渐暴露出很多问题。如在安全性上,只使用IP地址进行数据转发使得网络容易受到恶意攻击;通信会话通过
丹项鹤具有极高的科研、文化和观赏价值。但随着沼泽湿地面积的日益减少,丹顶鹤种群数量剧减,被列为世界濒危物种。为保护丹顶鹤,在有条件的动物园内开展了人工繁育工作,以
背景肝癌是常见的恶性肿瘤之一,其发病率和病死率在国内均排在前列,发病率位居第四位,而其死亡率高居第二位。目前射频消融(Radiofrequency ablation)广泛用于肝癌的治疗中,但是影响其疗效的主要原因是消融不完全与局部病灶复发,因此准确地评价射频消融术后疗效,并且及时发现患者未完全消融病灶或者局部复发病灶,尽早的进行补充治疗是提高射频消融术疗效的关键。使用影像学评价射频消融术疗效是临床
无线设备由于其操作简单、易于携带、交换信息方便等特点在现代通信中有十分重要的地位,被广泛用于各个领域,是军方不可或缺的通信手段。所以,无论在军事战争还是灾难救援中,
中医面色诊断客观化和现代化的研究是中医在现代社会中能够焕发生机的必然选择。图像处理等前沿技术的快速发展以及国家政策的大力支持,这些都为中医面诊客观化和现代化的发