【摘 要】
:
大数据时代的到来,传统的数据存储和处理手段已经难以满足日益增长的需求,越来越多的数据需要迁移到hadoop计算平台进行存储和处理。数据迁移作为数据科学领域的重要研究方向
论文部分内容阅读
大数据时代的到来,传统的数据存储和处理手段已经难以满足日益增长的需求,越来越多的数据需要迁移到hadoop计算平台进行存储和处理。数据迁移作为数据科学领域的重要研究方向和技术,也受到学术界、工业界更多研究人员的关注、研究。已有的数据迁移工具往往具有着单机性能低下、安装配置繁琐、不支持流式数据迁移等缺点。本文针对现有工具的缺点,结合已有研究成果,设计出了针对hadoop集群的数据迁移云服务。本文主要贡献如下:(1)设计并优化了基于数据库日志的流式数据提取、迁移技术。通过对数据库日志进行解析,提取增量数据,并将这些数据直接封装为消息发往hadoop集群。大大降低流式数据提取的I0、网络等开销。(2)将因子分析数学思想应用于负载均衡负载状态评估,将响应时间纳入负载均衡参数指标。该算法相对于传统的负载均衡算法,能够更有效地评估节点当前负载情况,更大地利用好集群资源。大大提高了数据迁移系统的吞吐量和集群计算能力。(3)将数据迁移系统上升到云计算的高度。针对业内已有迁移工具配置复杂、单机性能低下、容错性差等问题,本文提出的数据迁移云服务设计能够更好的提升系统整体迁移能力和吞吐。同时对于迁移任务具有一定的故障可恢复性。
其他文献
在新时期的公路勘测工作中,现代的测绘技术为公路的勘测工作提供了全面的技术支持与帮助,可以说现代的公路勘测已经离不开测绘技术。本文从公路勘测的任务与作用出发,论述了
<正>第三节先生示意大家入座后,安抚朱君道:"你人也甚好,性情豪爽,乐于助人,原本是个好学生。"继而又对去二说:"这房子原本是我们家中的柴房,在路对面还有八十多间呢。政府分
<正>沛县人口计生局积极采纳委员提案建议,着力打造数字化人口计生服务平台,努力构建城乡人口计生服务信息化网络。目前该县数字化人口计生服务平台已全部建成并投入运行,促
在矿山供电系统中普遍采取一端供电的方式,造成线路损耗及压降都很大,本文结合唐山矿业公司变电站供电系统的改造,提出由一端供电改为中间供电,达到了降低线路电能损耗及压降
对东方百合、兰州百合和细叶百合在花器官分化完成后的发育过程进行跟踪测量观察。结果表明:3种百合花器官的形态发育过程呈"慢-快-更快"的变化规律。各个发育阶段所持续的时间
随着我国经济水平和社会水平的发展,市场化经济体制已经建立并且在逐渐完善,建设工程也在突飞猛进的发展之中,而且随着经济发展,也对建设工程的管理提出了更高的要求,促进建
结合营销业务及其数据的特有属性,阐述了"SG186"工程营销业务应用数据迁移总体策略以及各环节可供选择的工作方案,强调如何根据实际制订有效方案,提高数据迁移水平和效率,按
1病例资料患者,男,38岁,未婚。2009年4月12日来我院皮肤科就诊,患者8岁时出现癫痫,用药后症状控制,平时间断用药。18岁面部出现皮疹,无明显痛痒感,随年龄增长增多,近2年患者
<正>环境对人的生理和心理,人际关系的形成,人的生活态度都有着重要的影响。一个舒适宜人的环境可以给予幼儿必要的、安全的和舒适的心理和生理刺激,有利于培养幼儿高水平的