随着近几年智能移动端设备的普及,参与到互联网的用户越来越多,背后提供服务的服务器数量也爆炸式增长,产生了大量繁杂的数据。在大数据概念的引领下,这些数据对于企业来说是非常重要的资源,但是如果处理不当,数据资源会给企业带来额外的负担。然而,企业运用传统的技术处理庞大的数据,花费了大量的时间,并出现计算瓶颈等问题。面对如此大量、繁杂的数据,如何更方便、更省时的去收集、分析、管理、查看这些数据成为目前研究的主要问题。针对上述问题,本文构建了基于ELK和Spark的数据分析的平台,对不同场景提供的数据进行数据分析服务。本文主要研究工作如下。(1)本文通过分析目前国内外主流的大数据处理技术、架构,给出基于ELK和Spark的数据分析平台的总体架构,确立每个模块之间的关系,指明数据在模块之间的流向,以数据流的方式展示每个模块在数据分析整体过程中的作用。(2)本文对整体的数据分析平台加以模块化,使系统的整体耦合性大大降低。并且对每个模块中的具体参数进行调试,使各个模块更加匹配整个系统,更加适合于处理大批量的数据环境。在离线计算模块中,本文采用机器学习方法LDA获取数据之间的相似程度。(3)测试验证各模块的可行性。以数据流的方式对各模块的进行可行性验证,输入的数据流经过各个模块的处理,将最终正确的数据显示在展示模块,最后测试整个平台的整体性能。仿真实验验证了数据处理平台的可行性和高效性。