互联网技术的快速发展,使得数据的重要性越来越明显。无论是研究机构,还是企事业单位对数据的重视程度都提升到了一个新的层面。如何从大量的数据中提取出对于研究或者企业有价值的信息成为了当下研究数据分析挖掘的重点。数据处理技术水平的不断提升,使得各行各业都从数据分析和挖掘中体会到数据所蕴含的价值。但是面对数据量的急剧增长,数据形式的多样化,数据挖掘技术显得捉襟见肘。尤其是在整合分散业务数据库、搭建数据仓库将消耗更多的时间；在处理分析数据时,其性能和效率往往都相对较差。如何基于廉价机器构架一个针对业务分散,数据量大的数据挖掘平台成了广大研究机构和公司研究的热点。Hadoop技术应运而生,面对大量业务数据时,它的存储和计算能力得到了行业的一致认可。Hadoop是分布式数据处理框架,在应对分散的数据库时,表现出天然的优势,其生态系统中的数据挖掘产品能够完美无缝连接,很大程度上解决了技术之间的兼容性。基于Hadoop的技术特点和优势,搭建适合业务分散、数据量大环境的挖掘平台成为了一种可能。本文首先比较数据挖掘相关技术和基于Hadoop的相关技术的优缺点,然后结合具体的业务需求和实际情况,最终选择了基于Hadoop的多数据源数据挖掘技术作为本课题的研究方向。然后设计了基于Hadoop的数据挖掘平台,共分为四个阶段,三个功能库。其中数据处理库旨在完成数据的载入,数据仓库的搭建,在这个过程中主要采用Sqoop技术进行多数据源的数据整合,采用Hive技术搭建数据仓库并通过HQL语句实现相关数据的查询和获取；算法库的核心工作是对数据进行挖掘和对挖掘结果进行存储,在这个阶段主要是结合Mahout提供的数据挖掘算法和基于MapReduce编程模式改写的数据挖掘算法来实现算法库,另外通过HBase来存储数据挖掘的结果,便于前台页面的展示；规则库的设计是完成数据挖掘工作的闭环,将挖掘结果可视化的展示给用户。最后通过结合业务特点对挖掘结果进行验证,从而体现挖掘工作的价值。这个过程采用Highcharts的图表形式来展示挖掘结果,使得挖掘结果能够直观可视,便于被用户接受。通过上述的设计,构建基于Hadoop的多数据源数据挖掘平台,尝试着解决多数据源数据挖掘的难题。