随着互联网的日益普及和信息技术的飞速发展,互联网产生的数据正在爆炸式地增长,海量信息的存储与处理已经成为了每个企业必须重视的问题。当前,Hadoop是一种主流的开源大数据分布式平台,它的分布式文件系统(HDFS)可以完成PB级别的数据存储,其原生的MapReduce编程模型可以完成大规模数据的离线处理。然而,MapReduce计算框架运算时会多次读写磁盘,导致延时大,作业成本增加,并不适合DAG运算、迭代运算等场景。对于在线/近线系统来说,处理在线系统产生的流式数据,需要低延时高可靠的处理技术,Mapreduce编程模型也无法满足实时监控与统计分析的需求。与此同时,基于大数据的新业务模式还将不断涌现,Hadoop的应用也会从互联网领域向金融、生物制药、电子商务等多领域拓展,大数据开发平台需要在更多没有Hadoop专业知识的用户中推广。而目前的大数据分布式系统大都是为专门的数据分析人员设计的,对数据处理、算法计算结果仅支持直接查询HDFS、数据库等,并没有简洁易懂的操作界面以及可视化模块,没有太多数据分析经验的人员很难通过简单的浏览文件系统中的数据,对数据处理结果有一个宏观的把握。针对以上问题,本文设计并实现了基于Eole系统的数据处理与数据可视化的处理平台。该平台采用B/S架构,底层基于Hadoop平台,采用Spark内存计算框架及其Spark Streaming组件作为数据处理框架,实现了高效的离线计算和实时计算的功能;使用HBase NoSql数据库作为主要的存储方式,保证了系统在高并发的状况下仍然能够提供稳定的服务;同时,使用ECharts图表绘制工具,实现了运算结果的可视化展示。用户通过在浏览器端的操作,即可完成数据管理、数据处理与计算和图形化展示功能,极大地提高了用户工作效率。