大规模实时数据流连接关键技术的研究

被引量 : 0次 | 上传用户:tszhzhc159
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网、传感器以及物联网等技术的发展,使数据产生的速度越来越快。无处不在的数据中隐藏着各种有价值的信息,这些信息给人们的日常生活提供了便利。在很多应用中,信息以数据流的形式提供给用户,这些信息带有很强的时效性,要求用户以"on-the-fly"的形式进行处理。另外,由于设备以及应用特点的限制,单条数据流往往只能提供部分数据,用户需要将多条数据流结合起来才能获取完整信息。连接(Join)作为获取综合信息的有效手段之一,在数据流处理中占有重要地位。大数据时代的到来使单节点的计算模式已经不能满足数据流连接的需求,由多个‘’shared-nothing"廉价节点构成的集群成为解决该问题的有效手段之一。本文在深入研究和总结相关工作的基础上,围绕分布式环境下多路数据流的连接问题展开研究,内容主要集中在以下几个方面:首先,在数据流模型下提出了基于增量计算的Compressed直方图构建和维护算法。在允许的误差范围内,Compressed直方图可以反映当前滑动窗口中数据的大致分布情况,为接下来多路数据流的连接优化问题提供支持,该部分为后面研究的基础。其次,针对二路数据流的特点提出了基于流水线的二路数据流连接算法。该算法将计算节点以线性形式组织,将两条数据流以相向的方式注入流水线,可以处理二路数据流等值及不等值连接,在不需要数据备份的条件下能够保证结果的完整性。另外,在流水线模型下提出了基于上游备份的容错机制、类似按压橡皮泥的负载均衡机制以及可扩展性机制等。再次,针对多路数据流等值连接的特点提出了基于一致性hash的多路数据流等值连接分配算法,该算法在保证相关联元组能够分配到相同节点的前提下,可以维持各个计算节点间的负载均衡。另外,根据直方图提供的信息,在数据流连接过程中采用基于贪心的算法实时维持连接树,保证数据流以相对较优的顺序执行,减少网络传输及连接过程的执行时间。最后,对通用性更强的多路数据流非等值连接进行了研究,提出了基于范围hash和共享时间片的分配策略。这两个策略在兼顾结果完整性和负载均衡的同时,也尽量减少备份数据的传递量,降低网络负载。另外,针对很多应用滑动窗口中连接属性属于多重集的情况,提出了基于(key,valueList)的"Group Join"连接算法,降低网络传输量,在某些情况下减少执行时间。本文从分布式多路数据流连接出发,提出了适合二路数据流连接的流水线算法、适合等值连接的一致性hash算法以及适合非等值连接的范围hash和共享时间片算法,并在这些算法的基础上提出了一系列的负载均衡、容错、扩容以及连接优化算法,为后续研究研究工作提供了参考。
其他文献
运用AHP法综合评价梅州主要景区 (点 )的景观质量 ,将其划分为四个等级。结合旅游发展战略规划的需要 ,首次提出了“资源度”与“开发度”的概念并利用它们制作区域旅游资源
当前,国际金融市场持续动荡,经济环境中存在诸多不确定、不稳定因素。国内经济环境中,一方面,企业生产成本不断上升;另一方面,企业和个体工商户及农民贷款融资难的问题日益突
委婉语是人类社会普遍存在的一种语言现象。在人们的语言中,委婉语的使用到处可见。它不仅是一种修辞现象,还是一种文化现象。作为一种文化现象,委婉语渗透到人们日常生活的方方
目的研究大蒜素对铜绿假单胞菌PA01菌株生物膜(biofilm,BF)早期黏附及胞外多糖复合物(Ex-tracellular Polymeric Substances,EPS)的影响。方法利用荧光多功能酶标仪检测各组
以往《砂和黏土》的教学用一课时就可完成,先用感官对砂和黏土进行直接观察,再将它们与适量的水混合,借助手的揉搓比较二者的差异,之后将二者置于实验装置下,进行渗水性实验
咳喘宁口服液是在传统古方五虎汤基础上加黄芪、大青叶、桃仁等而成,临床主要用于小儿喘息性疾病,尤其是对病毒诱发的小儿哮喘属热证者具有较好的防治效果。通过查阅相关文献
本研究以云南省6所高校的720名贫困大学生为被试,探讨贫困大学生挫折情境、挫折承受力和挫折体验之间的关系,通过结构方程模型分析发现,挫折承受力在挫折情境对挫折体验的预测中
采用铝醇盐水热处理方法制备薄水铝石(Al2O3·xH2O)。研究了在100~180℃范围内水热处理温度对产物性能影响。XRD结果表明随水热处理温度升高,水合氧化铝由拟薄水铝石转变为结
夫援史证《易》本为易家释《易》普遍之现象,然自赵宋三李一杨(李光、李杞、李中正、杨万里)开宗奠基后,历宋元明三朝而踵继者众,至有清一朝,更以超迈往古之姿,创猗欤盛哉之
随着信息化时代的来临,人们可以通过多种渠道获取各种各样的信息。而阅读作为信息输入的途径显得尤为重要,教师在英语教学中应重视对学生阅读能力的培养。课程改革要求学生具