随着互联网和3G的迅猛发展,其数据具有海量、多样、异构、动态变化等特性。面对这些海量数据,常常陷入“数据丰富,信息贫乏”的尴尬境地。如何高效地从这些海量数据中挖掘有效信息已成为一个重要的研究内容。在分析常见的分布式系统模型以及并行计算等相关技术的基础上,结合MapReduce编程模型和Hadoop平台的集群技术,提出了基于Hadoop集群平台的MapReduce编程模型的并行编程框架,该编程框架的特点是借助开源技术和当前流行的分布式技术满足算法并行执行的需求,用该框架改进Canopy-Kmeans算法,使Canopy-Kmeans算法执行效率得到提高。同时该框架适用于大量其它算法。Canopy-Kmeans算法对传统Kmeans算法的改进体现在两个方面:利用Canopy算法选出初始的K个聚类中心有利于消除孤立点,提高聚类的准确性;再次就是将数据进行Canopy有覆盖划分,在计算点离哪个聚类中心最近时不必计算其到所有聚类中心的距离,只要计算和它在同一个Canopy下的聚类中心的最短距离,大大提高效率。Hadoop平台具有成本低,易维护,可扩展,开发应用程序简单等优点。同时,该平台无需并发处理或者分布式系统编程的经验,只要部署好Hadoop API相应的配置就可以处理超大分布式系统的数据资源。应用MapReduce编程模型很容易编写分布式程序,简化了分布式编程。最后将该算法应用于网站的数据处理以及学生成绩统计,实践证明应用MapReduc模型的高效性。