当今社会,人们的生活水平逐渐升高,在消费者消费的同时,会留下相应的足迹,也会产生相应的记录。由于人们每天消费量巨大,会产生大量消费记录。若想从海量数据中快速分析出用户最关心的消费品类和相关行为,用传统的分析方式已是很难满足需求。传统方法耗费时间长,难以实现预求效果。这些消费记录中包含了顾客消费的许多消费信息,如果通过特定的分析工具去分析这些数据,则会从数据中分析出许多有效信息,包括消费者的消费习惯、商品的销售情况等。现今流行的计算框架有Hadoop计算框架和Spark计算框架。其主要针对海量数据进行分析和处理,本文则是使用Hadoop中的HDFS和Spark计算框架对广大消费者的娱乐消费记录进行分析,得出其娱乐消费的实际情况。本文首先对大数据处理分析系统研究现状做了综述,介绍了相关的理论和技术;其次对系统需求进行了具体分析,从中得出系统的总体设计架构,系统主要功能包括聚合统计、随机抽取、Topl0热门品类和Topl0活跃session;然后,对获取数据算法的设计思路和系统主要功能进行了详细设计,并对数据库进行了详细设计;最后,搭建了系统环境并对获取数据算法和系统的主要功能进行了具体实现,实现完成后对其进行了功能性测试和非功能性测试。运行结果表明,系统完全可以正常运行,可以达到预期的目标。