互联网的高速发展使得web成为了最大的信息系统,使得web日志也在快速的增长。然而如何在这些海量的web日志中找出对企业有价值的信息,是多数企业目前面临的问题。使用单台主机对日志进行存储或计算已经满足不了目前的需求了。因此采用分布式存储和计算成为了必然的发展趋势。Hadoop就是一个使用较为广泛的分布式存储和分布式计算框架,适用于大规模的分布式计算,越来越得到重视,在广告计算、日志分析、网页搜索以及数据挖掘等方面都得到了广泛的应用。Hadoop的核心技术包括HDFS(分布式文件系统)和Map/Reduce(分布式计算框架)。在HDFS中,文件被分成若干个相同大小的文件块,分别存储在集群中的不同的节点上,适合于存储海量的日志文件。Map/Reduce是Hadoop提供的针对于大规模集群海量数据处理的分布式编程模型。通过这个编程模型,可以较方便的编写处理大量日志文件的程序代码。本文就是基于Hadoop实现了一个日志存储和计算的数据处理系统。通过对目前企业在日志处理方面出现的问题的分析,利用Hadoop提供的HDFS和Map/Reduce两个核心的技术,实现了一个开放式的报表系统。主要包括日志的收集和存储、后台的统计程序以及前端的用户界面。该系统在日志的收集、存储和处理方面较之前的处理方案都有很大的改进,在系统中,用户可以自定义的配置数据表,这样增加了报表的可定制性。工程师只需要对该系统进行维护,并不需要直接面对数据需求方提出的各种繁琐的需求,这不仅减少了工作量还提高了工作效率。