负载均衡的离线数据迁移算法的研究与实现

来源 :东北大学 | 被引量 : 2次 | 上传用户:zxjxz33371
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着云计算、物联网以及社交网络等的发展,人类拥有的数据正在以前所未有的速度增长和累积,大数据时代悄然而至。在大数据时代,能否更有效地利用数据、更高效地从数据中分析出知识在很大程度上决定了企业的竞争能力。尤其是在搜索业务,从海量数据中挖掘出的规律极具价值:它可以影响用户搜索满意度,提高流量转化率,甚至指导业务发展方向。在数据可挖掘价值不断提高的背景下,离线数据业务在面临前所未有的挑战。以数据为中心的业务,不可避免的海量数据迁移成为了离线业务处理的一个基础环节:能否高效、稳定地将数据源的海量数据迁移到目标存储系统,很大程度上决定了离线业务质量。设计并实现一个高效可扩展的数据迁移系统是很有必要的。本课题研究负载均衡的离线数据迁移方法,首先通过分析提出数据迁移模型,分析迁移性能的影响因素,并基于该分析提出迁移的优化目标。接着,给出数据迁移的系统设计,并围绕迁移优化目标从两个方面展开优化研究:从数据源层进行优化,提出LBS(Load Balancing Sharding)方法将数据源改造成分布式数据源,从而确保数据的均衡分布,并满足系统的可扩展性需求;从作业调度层进行优化,提出Astraea算法合理调度迁移作业,从作业的角度规避数据源热点,从而提高迁移效率。最后,通过大量实验验证了 LBS算法和Astraea方法的有效性。实验结果表明,数据源层的优化方法LBS将数据源析散成可扩展的分布式数据源,为数据迁移的高度并发提供了基础,同时保证数据源的负载均衡;作业调度层的优化方法Astraea算法能够有效地确定合理的作业调度方案,从调度的角度规避数据源热点以提高迁移效率。
其他文献
8月10日获悉,环保部已牵头编制完成生态环境损害赔偿改革试点方案的送审稿。按照程序,该方案后续将进行审议。据悉,该方案并非针对领导干部生态环境损害责任追责,而是针对企业污
建筑工程行业在我国的社会经济发展中占据着重要的地位,更加影响着人们的人身安全以及社会的稳定性。人们要认识到建筑工程施工管理过程中质量控制的重要性,及时分析施工质量
<正> 苗汉彝姓名问题,是苗族关心的一个问题。余学疏识浅,孤陋寡闻,根据“要重视家族史的研究”精神,试就滇东北次方言苗族(简称滇东北苗族)的苗汉彝姓名问题进行一些探讨,以
期刊
污染环境罪应该设置为具体危险犯,即发生了危害环境的具体危险时就能对行为人进行入罪处罚,另外还应规定相应的实害犯作为加重法定刑或法定刑升格的根据。在主观方面,污染环
介绍了上海市中心城区供水管网信息化建设的现状,分析了存在的问题,探讨了管网水力模型和水质模型如何进一步的应用,提出管网水质模型开发和应用亟待加强,建议对各系统进行及
针对城市道路雨水径流瞬时汇集量大、污染负荷高的特征,设计了一种快速处理工艺并初步研究了该工艺对雨水径流负荷削减的效能。快速处理工艺包括初雨储存和旋流过滤两个过程
<正>肝胆管结石治疗的基本原则是"取尽结石,祛除病灶,解除梗阻,畅通引流"。胆肠吻合术是治疗肝胆管结石、重建胆汁引流的重要方法,是胆道外科标志性的技术操作之一,主要方法
昭平县城污水处理厂坐落于广西贺州市,厂区位于贺州市昭平县昭平镇龙坪村领峥小组岭脚村,建成后极大地改善了城市水环境,对治理污染、保护当地流域水质和生态平衡具有十分重要的
国企经常面临的,且对企业影响最严重的危机便是人力资源危机,而人才流失作为人力资源危机的一个主要成分,本文从当前实际出发,结合国企经营相关特点,来探讨人才流失的原因,提
就当前的情况来看,内部控制制度已经逐渐发展成构建现代化企业制度的重点内容;另外,任何企业的内部控制工作的进行并不是单一存在的,需要企业内部所有部门及员工的积极参与。