【摘 要】
:
随着万物互联时代的到来,越来越多的数据产生了,使得数据在规模和维度上都急剧的增加,比如——位置、喜爱偏好、运动轨迹等,因此对大数据的计算需求也越来越高。许多“大数据”应用程序必须实时处理数据,然而由于设备的不同,所得到的数据难免会比较单一,这样单一的数据流就很难得到用户的全部信息,如果想要得到用户的全部信息就需要将所有的数据流整合在一起。而连接(Join)操作是连接不同数据流的一个有效的手段,在多
【出 处】
:
中国科学院大学(中国科学院深圳先进技术研究院)
论文部分内容阅读
随着万物互联时代的到来,越来越多的数据产生了,使得数据在规模和维度上都急剧的增加,比如——位置、喜爱偏好、运动轨迹等,因此对大数据的计算需求也越来越高。许多“大数据”应用程序必须实时处理数据,然而由于设备的不同,所得到的数据难免会比较单一,这样单一的数据流就很难得到用户的全部信息,如果想要得到用户的全部信息就需要将所有的数据流整合在一起。而连接(Join)操作是连接不同数据流的一个有效的手段,在多路数据流的操作中占有很重要的位置。一旦其中的某条数据丢失后,就会对数据流的连接操作,造成较大的影响,也无法为用户提供精准的服务。数据流的激增需要更大规模的集群来运行这些应用程序,这些程序可以运行在现有的一些计算平台上,比如Storm,Spark,Flink等。这些大数据平台可以处理故障和数据丢失等情况。而本论文提出了一种新的数据流容错机制,可以更进一步的提高数据流的恢复效率。本论文提出了一种新的基于纠删码的数据恢复算法,用于窗口中的数据丢失时恢复数据,同时在数据流的连接操作中,也运用到基于纠删码的数据流容错算法。本文首先介绍了大数据产生的背景,以及数据流连接的相关技术,其次,介绍了关于不同的计算模型,以及该模型在容错方面的优缺点。最后,我们研究了如何将基于纠删码的数据恢复算法应用于分布式流处理程序中,在数据流到达计算集群时,对数据进行窗口化处理的同时,在每个窗口中运用纠删码算法对数据进行编码,如果数据丢失后,运用纠删码算法对编码后的数据解码,恢复出原始数据。本论文主要的创新点是:不同以往传统的数据容错方法,大多采用的都是将数据存储在数据库中(如:HDFS),来实现对数据的容错处理。而本论文在数据流到达应用程序后,直接对数据进行编码处理从而实现对数据的容错处理。
其他文献
氟硅聚合物既具有有机硅的耐热性、耐寒性等性能,又具有机氟材料的耐油、耐溶剂、低表面能等性能,广泛应用于航空航天、汽车电子、纺织建筑等诸多领域。近年来,新型含全氟环
免疫层析法(Immunochromatographic assay,ICA)是一种适合实时和现场检测的快速检测技术,该方法具有操作简便、检测快速、价格低廉等优点,无需任何仪器设备和专业技术人员,而
本研究在粳稻品种沈农9816(SN9816)甲基磺酸乙酯(EMS)诱变的突变体库中筛选到一个叶片表型稳定的斑马叶突变体l139。利用籼稻品种Kasalath与l139做杂交,构建F_2群体进行遗传分析和基因的定位,并对突变体l139和野生型沈农9816的农艺性状、叶绿素含量、光合能力、超微结构和部分基因表达做了测定和分析。主要研究结果如下:1.与野生型相比,突变体l139从苗期到分蘖期表现为黄绿相
天然构造变形材料(岩石)组成成分往往十分多样、结构上具有多尺度特征。从变形岩石整体上(大尺度)看,许多形状不同以及流变强度不同的次级元素构成了岩石。构造地质学研究的一个关键的目的主要是通过实际观察的变形构造来揭示宏观区域变形的流变场。自然界的高应变岩石中普遍存在着流变场分配的现象。众多研究学者在传统的基于固体连续变形机制理论的变形分析中,经常忽视流变场的分配问题,因此在流变场如何分配的问题上一直缺
随着交通一体化的逐渐发展,轨道交通逐步成为解决城市公共交通问题的首要选择。作为主流车体结构之一的不锈钢车体,其生产制造技术得到了快速发展。基于轻量化的设计思想,不锈钢车体多采用薄板焊接结构,电阻点焊是其主要的焊接方法。电阻点焊过程电流大、时间短,易产生飞溅、虚焊等缺陷,同时,点焊熔核的生长处于封闭空间,无法直接观测,给焊接质量控制造成较大困难。因此,高效、准确的点焊质量评估技术对于获得合格焊点、保
近些年来杀扑磷对水体的污染已引起人们的关注。杀扑磷是一种较理想的杀介壳虫药剂,毒性强,效果好,可以用于防治大多数农作物上的蚧壳虫等害虫。因它在农产品,水体等中不易分
兽用抗生素与有机氯农药在土壤环境中广泛存在,一直是生态学研究的热点,但二者在土壤中互作的效应目前还鲜有报道。本文以强力霉素(Doxycycline,DOX)和五氯酚(Pentachlorophe
侧链型液晶高分子(SCLCPs)兼具高分子骨架无定型及侧链液晶基元各向相异的优异性能。通过高分子骨架与不同功能的液晶基元合理组合,可以实现具有特种功能的高分子的合成,近年来
我国在十九大报告中明确指出,要坚定实施创新驱动发展战略,加快建设创新型国家,同时指出必须培养造就一大批具有国际水平的战略科技人才、科技领军人才、青年科技人才和高水平创新团队。由此可见创新(尤其是科技创新)在国家发展中的核心地位,以及科技人员在创新发展中的战略作用。科技人员作为创新活动的设计者及组织者,是科技创新的主体,是促进经济增长至关重要的因素。企业是承担技术创新的主要社会组织,而领导作为组织中
近年来随着抗生素的大量使用,细菌耐药现象日渐严重,且抗生素的研发速度远低于细菌耐药性的产生速度,因此,需要寻找应对耐药细菌的新方法。噬菌体作为感染细菌的病毒,具有数量多、特异性强等优点,有望替代抗生素作为消除环境病原菌的有效手段。本研究从贵州开阳、西藏乃东和辽宁盘锦三个地点采集的13个样品(6个沉积物样品、6个水样和1个钟乳石表面样品)中分离细菌及其相应的噬菌体。同时对宿主菌的抗生素耐药性以及噬菌