在电子商务急速发展的今天,各大电商网站都在试图通过分析用户登陆网页所产生的日志,得出各种关于用户的特征,从而安排更加具有效率的页面排列顺序及广告投放计划。在分析日志的过程中,面对如今动辄数百GB,甚至上升至TB的日志规模,传统单机式数据库模式已经逐渐跟不上数据增长的步伐,而提供并行处理方式的分布式数据库日益成熟,在大量数据的处理需求面前逐渐展示其优越的处理效率。其中,由Apache软件基金会所引入研发的Hadoop无疑是最受人瞩目的。其在TB乃至PB级别的数据面前的处理速度非常令人满意。本文针对电商网站对于大量用户访问日志的分析需求,运用Hadoop平台及相关技术,设计并实现了一款基于Hadoop的海量数据分析系统。通过此系统在服务器上的运作,可以对数百GB乃至TB级别的日志进行分析,得出包括用户来源渠道、站内页面流转分析等各种网站所关心的用户数据分析,并自动生成图表进行展示,从而可以非常直观的观察各项用户数据,以此进行更加准确的商业行为。本文首先介绍了项目背景及Hadoop的相关技术,然后针对系统的需求分析,提出了各部分功能的具体解决方案以及所运用的技术,最后完成系统的整体实现及测试。