云计算(Cloud Computing)是在2007年第3季度才诞生的新名词,但仅仅过了半年多,其就成为当今计算机界一个研究热点,业内外人士对其发展情况和实用价值都表现出非常的关注。对于云计算的研究在各大公司及院校相继展开。云计算是一种新兴的共享基础架构的方法,最终将成为一种普及性服务。云计算从实质上来说是网格计算和分布式计算的延伸。基于这一点,本文分析并比较现有的分布式存储和计算技术等,结合Hadoop的集群技术的研究,提出了基于Hadoop的海量数据存储模型,并从数据结构设计、模型设计、功能模块和编程技术的使用等几个方面来介绍该模型的开发方法,最后将该模型应用于海量数据处理(词频统计)中。该技术还可以应用在诸多海量数据处理领域中,例如:web日志处理、搜索引擎、大规模文件存储等。本课题利用前沿的分布式框架技术,将模型很好地部署到实例当中,与非分布式状态运行的系统进行比较,用实验来检验其性能。本课题的特点是将研究的模型与词频统计应用相结合,利用前沿的分布式框架技术来很好地满足项目的需求,并将模型部署到实例当中,用实验结果来检验模型的实用价值,比如高效率、低成本、可拓展性和易维护性等。在原来的需处理系统相融合的基础上,我们还对初级的模型进行了性能的优化,如简化规则的改进等。实验结果表明,利用Hadoop云计算平台可以有效地提高海量数据处理速度,为大规模高效数据处理提供了良好的解决方法。