商业数据、科学数据、网页数据这三大类海量数据凭借着异构性、动态性和膨胀性等特点给传统的数据处理方式带来巨大压力。以Hadoop为代表的大规模数据处理技术突破以往的单机数据处理模式，引入大规模分布式计算机集群来提升数据处理性能，大大减轻了数据处理压力。Hadoop技术现已凭借着可伸缩性、健壮性以及计算性能和成本上无可替代的优势逐渐发展为海量数据处理的最佳解决方案，受到越来越多IT企业的重视。本文首先研究海量数据相关技术的应用现状及Hadoop平台的设计架构，选取网站自动生成的日志文件为处理对象，提出一种基于Hadoop的海量日志文件处理模型。根据日志文件信息冗余、格式不统一的特点，该模型在设计时首先对格式进行解析处理，提取其中有价值的信息并将其键值化。再遵循MapReduce编程框架，分两阶段设计任务汇总模块和对结果的求平均排序模块，目的是能根据日志提供的信息统计出网站的并发量及平均响应时间，以此探索网站并发量高的时候响应时间的变化情况，分析网站性能的优劣。该方法优势在于简化了分布式程序，一次性解决了底层封装、任务分配、并行处理、容错支持等细节，改善了运行效率。之后再通过具体部署实例、搭建集群，比较该方法与传统方法的区别，验证该模型能达到在分布式环境下高效处理海量日志文件的设计目的，并同时具备健壮性和可扩展性。