大数据时代的到来,传统的数据存储和处理手段已经难以满足日益增长的需求,越来越多的数据需要迁移到hadoop计算平台进行存储和处理。数据迁移作为数据科学领域的重要研究方向和技术,也受到学术界、工业界更多研究人员的关注、研究。已有的数据迁移工具往往具有着单机性能低下、安装配置繁琐、不支持流式数据迁移等缺点。本文针对现有工具的缺点,结合已有研究成果,设计出了针对hadoop集群的数据迁移云服务。本文主要贡献如下:(1)设计并优化了基于数据库日志的流式数据提取、迁移技术。通过对数据库日志进行解析,提取增量数据,并将这些数据直接封装为消息发往hadoop集群。大大降低流式数据提取的I0、网络等开销。(2)将因子分析数学思想应用于负载均衡负载状态评估,将响应时间纳入负载均衡参数指标。该算法相对于传统的负载均衡算法,能够更有效地评估节点当前负载情况,更大地利用好集群资源。大大提高了数据迁移系统的吞吐量和集群计算能力。(3)将数据迁移系统上升到云计算的高度。针对业内已有迁移工具配置复杂、单机性能低下、容错性差等问题,本文提出的数据迁移云服务设计能够更好的提升系统整体迁移能力和吞吐。同时对于迁移任务具有一定的故障可恢复性。