基于补偿函数的Spark容错机制优化

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:plutoBSD
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,随着数据量的增加和数据价值的发掘,分布式大数据计算系统已被企业和机构广泛的应用与研究。伴随分布式系统节点不断增多,故障率也随之提升,容错成为了分布式大数据计算系统研究的一项不可忽视的关键技术。在大数据应用领域中,特别是数据挖掘和机器学习,迭代计算成为了其算法的一个主要特性,其通过反复迭代的过程,达到求解最优解的目的。Spark作为新兴的通用大数据处理框架,立足于内存计算,在迭代计算中具有优异的性能,迅速成为了最为流行的分布式大数据计算平台。然而Spark主要采用Lineage机制实现数据的容错,Lineage记录一个数据集如何从其它数据集演变过来,当某块分区数据丢失时,Spark通过记录的Lineage信息回溯丢失数据的依赖关系,重新计算丢失数据,在迭代计算等长任务场景中,存在重计算恢复时间过长的问题。本文分析了迭代计算过程及其收敛性,得出迭代计算具有从不同的状态收敛的稳定性,提出一种基于补偿函数的乐观容错机制实现对数据的容错,并使用此机制对Spark的容错机制进行优化。不同于传统使用重计算恢复数据的容错方式,此机制在故障发生导致数据丢失时,通过定义的补偿函数快速生成补偿值代替丢失的数据,而不是重计算生成原始数据,并保证整体数据集的一致性,使算法能够继续执行,通过后续迭代过程校正数据,并收敛到正确结果。在无故障时,此机制采用乐观的容错方式,不添加任何容错措施,不会造成额外开销。实验结果表明基于补偿函数的乐观容错机制能够有效保障迭代数据的可靠性,并且性能优于现有的容错机制。
其他文献
目前云计算已经大量出现并逐渐成为一种主流的计算范式,市场上将云平台作为主要IT基础设施的公司正在逐渐增多,这些趋势使得云计算的核心价值从最初的降低成本逐渐向具有敏捷
伴随生物医学数据得到爆炸式增长,快速发展的生物信息学也在不断剖析这些数据背后隐藏的信息,相关研究已成为热点。识别致病基因是人类健康研究的根本挑战,针对识别致病基因
目前WAF(Web Application Firewall,网站应用防火墙)设备应用得越来越广泛,它能够较好地阻止Web应用层面的攻击,并满足我国信息系统安全等级保护第三级别的要求。不过对于三
随着互联网技术的发展,恶意软件的传播越来越广泛,使得系统安全受到威胁,其中有很大一部分原因是因为越来越多的程序变为不可靠的可疑程序。这些程序没有通过安全验证。当前
随着社会的发展,人们已经不满足于只给出一个总分的成就性测验,而是希望能从被试的实际作答反应中获得更多有关被试认知结构的信息,以便对被试做出更具体更客观的评价,并且给
随着医疗技术和生物科技的快速发展,生物领域的大数据急剧膨胀,数据的快速、有效检索成为了至关重要的问题。传统的搜索引擎在检索过程中,采用文本相似性作为相关度的计算指
在物联网的三层体系结构中,感知层是物联网的感觉器官。而射频识别技术和无线传感器网络技术是物联网感知层的重要支撑技术,并在整个物联网的发展过程中扮演着重要的角色。射
进入二十一世纪以来,人与人之间、人类与物理世界之间的联系变得愈来愈紧密。在这种情况下,数据的产生无处不在。然而,在数据规模几乎爆炸式增长的同时,数据质量并没有得到相
将企业日常的统计管理工作信息化、自动化、网络化,可以提高工作效率,提高工作质量,为集团、矿各级领导、业务部门、生产部门提供现代化管理手段,及时、准确地反映企业运营状
任务(作业)调度是云计算的关键技术之一。本文重点研究了云任务调度策略,目标是降低应用程序的执行成本,提高云系统的执行效率。针对粒子群优化(PSO)算法的特点,考虑到云计算