在互联网快速发展的今天,全球信息量呈“爆炸式”增长。对于每天将要面对海量数据的互联网企业来说,如何对这些看似杂乱冗余的数据进行提取、加工、分析、利用,将数据的价值最大化,用于构建用户画像,便于推荐系统或广告投放系统进行精准推荐或广告投放,成为企业不可忽视的重要问题。对“用户画像”问题处理的好坏,很大程度会影响到企业的营收,也会影响企业在“用户画像”领域的发展空间。本文主要研究基于Spark框架的用户画像系统的设计与实现。该系统既可以对接广告投放或精准推荐系统,为其提供数据支持,又可以将用户画像数据以可视化的方式辅助企业的运营决策。整个系统分为数据预处理以及存储模块、用户画像构建模块、数据可视化模块。其中核心部分为用户画像构建模块,该模块在海量用户数据的基础之上,使用Spark框架来并行计算用户画像标签,即统计型标签、匹配型标签、挖掘型标签,解决了海量数据下传统数据处理方式的性能瓶颈。本文着重于研究挖掘型标签的设计与实现,为提升挖掘型标签的计算性能,依托Spark的并行化计算能力对Softmax算法的并行化进行研究,解决了在海量数据之上的多分类问题,提升了用户流失风险标签的计算性能。此外,本文还对基于TF-IDF与互信息加权的朴素贝叶斯分类算法并行化进行研究,通过加权的方式对传统朴素贝叶斯算法进行改进,并依托Spark框架将其运用至用户评论类别标签的并行化计算中。本文在Spark平台上进行实验,以数据并行的方式对挖掘型标签的计算模型进行分布式训练与预测,并对模型的有效性以及执行效率进行评估。最终,本文基于Spring框架、Spring MVC框架、My Batis框架以及Echarts框架设计与实现了数据可视化模块,并对用户画像数据进行可视化输出。