在因特网高速发展、上网人群急剧增长的今天,对于那些提供网络服务的互联网公司来说,每天都会有海量的信息需要处理,用以分析出用户的需求、各种产品的效果等,往往某些数据分析都会有时间上的要求。对于现实中存储空间和处理时间的需求,传统的数据库系统已很难满足。本文的主要目的是构建一个成本较低的分布式海量数据处理系统来存储和处理这些数据。以这个问题作为出发点,本文在分析现有分布式计算和存储等关键技术基础上,结合对Hadoop云计算技术的研究和校园网实际软硬件条件,为满足自身的业务需求,提出了一种基于云计算技术的数据处理模型,并从数据结构设计、系统模块化、程序流程化和编程技术平台等方面研究该模型的开发方法,最后将该模型应用于分布式海量数据搜索引擎。经过以上研究得知,Hadoop云计算平台的可靠性、高效性、可伸缩性满足了分布式搜索引擎的技术需求,因此本文选用Hadoop系统作为该应用系统的分布式计算平台。本文对传统搜索引擎中爬行、索引、搜索过程中的每一步骤进行详细分析,并改进了其功能模块,将非顺序执行的步骤分解为两个子任务：数据计算任务及数据合并任务。同时,应用MapReduce编程思想,把所有数据计算任务都封装到Map函数中,把所有数据合并任务都封装到Reduce函数中。研究工作主要在于将改进的搜索引擎系统部署在廉价计算机构成的Hadoop云计算环境中,使之具有较快的响应速度、较高的可靠性及扩展性。本文的主要特点是将经研究提出的模型与实际应用业务相结合,利用前沿的分布式框架技术较好地满足了项目需求,并将该模型部署到实际分布式环境当中,用实验结果来检验系统的实用价值,比如高效率、低成本、可拓展性和易维护性等。