如今的互联网发展迅猛,互联网企业也面临极大挑战,每天会被数以万计甚至百万千万的用户访问。为了提供更好的服务质量,了解用户的访问特点及用户需求,迫切需要对用户的访问行为进行分析研究。根据研究出来的用户行为规律来改进网站,吸引更多用户的眼球,从而给客户带来更好的体验,同时给公司带来商机。Web日志分析便因此而产生。所谓的Web日志分析,就是收集用户访问网页时产生的所有日志信息,进而对这些日志进行数据转化、清洗、挖掘的-个过程。互联网企业的壮大以及应用系统规模的扩充,相应日志信息的数量级也在同步增长。传统的单机版日志分析系统完全不能达到目前互联网企业日志分析的需求,为此,大规模数据处理平台就成为日志分析的理想平台。本文主要研究Hadoop分布式计算框架和MongoDB分布式数据库,并基于Hadoop和MongoDB设计高效的Web日志分析方案。在Hadoop和MongoDB中基于MapReduce进行算法设计时,本文提出了映射(mapping)表文档优化方案,以提高日志分析的效率。在日志分析算法设计中本文提出了局部合并键值算法,降低写入和传输的数据量,提高了算法效率。在客户端设计中,本文主要介绍基于SliverLight客户端应用程序的框架设计和构建,以便高效开发客户端的具体应用模块。