伴随着信息技术的飞速发展,我们迎来一个全新的“大数据”时代,其数据具有数据量大、产生速率快、时效性强、复杂性高等特性,数据处理的难度也越来越大。人们亟需功能强大、通用性强的工具在海量数据中需找有价值的知识,帮助人们进行决策，创造更大的价值：数据挖掘可以方便的从大规模数据中提取代表知识的模式,在实际应用中发挥着重要作用。云计算的提出,在很大程度上解决了传统单机处理模式在面对海量数据时的局限性,为海量数据挖掘提供了便捷的道路。本文首先深入研究了开源云计算框架的主流趋势,进行了实际的实验对比与研究,对Hadoop1.0的局限性进行分析,对MapReduce与Spark优缺点进行对比,将YARN与其他资源管理框架进行了对比,对实时处理技术Storm进行阐述。其次,设计完成了数据挖掘系统架构图,设计了基于YARN的数据挖掘系统云平台层,并进行了云平台层的搭建,对Hadoop2.0向后兼容性进行了探索,完成了已有挖掘系统向YARN平台的迁移工作,基于MapReduce和Spark完成了多种并行数据挖掘算法的设计与实现。最后,本文在对系统整体进行功能性测试的基础上,完成了云平台层及实时处理模块的性能测试。测试结果表明：进行系统迁移后的数据挖掘平台各个模块可以正常、稳定地运行；可以基于YARN搭建多计算框架并存、资源利用率更高的云计算平台；MapReduce针对批处理提出,适合于大规模离线数据处理,Spark在迭代式算法、交互式数据挖掘算法等应用中性能要优于MapReduce,而Storm在流式处理中可以保持较高的处理速率,并将错误率控制在很低的范围内,对于流式处理具有重要的意义。