大数据计算和分析系统作为一种计算机科学发展到一定阶段的必然产物已经吸引了各行各业的关注。大数据的价值在于对海量数据的存储,另一方面在于对数据的分析和处理工作。海量数据要依靠文件系统进行存储,海量数据的积累是一个相对缓慢的过程,数据上传到大数据计算机群需要一定的过程。针对于在数据积累和上传开始到数据被真正被数据处理程序处理的空闲阶段。通过利用空闲阶段进行数据处理,从进一步利用系统资源的角度针对大数据预处理系统进行研究。大数据处理中数据存在数据复用率较低的情况,数据预处理是有意义的并且数据的处理对未来的处理任务干扰较低,在数据处理任务被启动前,利用用于分析大数据的分布式系统中存储节点的富裕的计算资源,在文件系统中存储数据的本地节点上进行预处理任务。目的在于将系统中可利用的计算资源使用起来,提高系统的资源利用率,通过预处理作业后可以降低数据处理任务对计算资源的需求,并且预处理后的数据由于数据体积降低而降低对网络带宽的占用。Hadoop作为Map Reduce编程模型的实现,作为一种典型的大数据分析系统被广泛的使用。Hadoop系统中包含了诸多的功能插件,也包含有作为数据存储的Hadoop文件系统。针对Hadoop系统的特点,对Hadoop平台上的大数据预处理系统进行研究和实现,并针对Word Count程序构建了预处理系统的原型系统。通过针对Hadoop平台上Word Connt程序的数据预处理系统的实现和测试,验证了数据预处理系统在减少磁盘I/O使用,压缩数据体积,减少计算时间等方面有显著的作用。