在互联网高速发展和上网人群急剧增长的今天,对于提供网络服务的互联网公司来说,每天都有大量的信息需要处理,以分析用户的需求以及各种产品的效果等,而且某些数据处理还有时间上的要求,而传统的数据库已经不能满足其对于存储空间和处理时间的要求。本文的主要目的是构建一个成本较低的分布式海量数据处理系统来存储和处理这些数据。本文基于一个开放源代码的分布式处理平台(Hadoop)来搭建一个分布式的海量数据处理系统。系统通过对该开源平台进行封装,建立基于插件的任务开发与调度机制,实现任务之间的相同的操作共用,提高系统的工作效率,而且由于任务都是即插即用的插件,任务的上下线也能得到比较方便的管理。对于简单的应用,比如统计,分组统计等,系统提供自动代码生成工具,实现任务代码的自动生成,减少开发的工作量,对于复杂的应用来说,系统提供了一些基本的处理方法的实现,由此组合即可解决大部分的数据处理的应用。当然,很少有任务是一次计算可以完成的,大部分的任务都是需要多次计算并综合他们的结果来给出的,而且任务的运行存在着失败的危险,所以一个方便易用的任务调度与监控模块是非常必需的。对于大部分的应用来说,任务之间的关系分为依赖和并行,调度系统将基于这两种类型的任务关系来对任务进行调度并监控其运行状态,来实现稳定的数据处理。