随着互联网的飞速发展,海量信息的处理成为越来越普遍的需求。通常,海量数据的处理要求工作人员学习分布式相关知识,学习成本和开发成本都比较高,而且现有大数据开发平台对于算法的支持相对有限,也不能很好地对运算结果进行图形化展示,用户使用效率较低。另一方面,传统的海量数据处理平台存在搭建困难和安全性低等缺点,越来越难以满足人们对海量数据数据处理的需求。针对这些问题,本文提出了一种开放分布式海量数据处理平台的设计方案。为了解决安全性问题,该平台以HDFS (HDFS, Hadoop分布式文件系统)、Hive和HBase (Hadoop Database, Hadoop数据库)等作为底层数据存储方式,以MapReduce、spark和storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberos进行权限控制,保证了数据安全性。针对效率问题,一方面采用Kettle开源工具,为用户提供可视化操作界面,方便用户操作,另一方面结合国内外相关机构和实验室在分布式计算,大数据处理,算法集成处理等研究成果和经验,添加算法支持模块,以实现数据处理算法的智能选择和算法参数的智能推荐,同时使用JFreeChart等图表绘制工具,实现运算结果的图形化展示,提高用户数据处理效率。这种开放式的服务使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。本文所介绍的分布式系统是在Hadoop平台的基础上进行的二次开发,保证了系统的通用性,降低了维护和升级的成本,同时统一了操作接口,提供了图形化的操作界面,加强了对算法处理的支持。测试表明该系统可以提高系统的安全性,提高用户数据处理的效率。