随着信息时代的发展,现实社会的数据正快速增多,如何快速处理这些数据并从这些数据中分析挖掘价值已经成了现实世界的迫切需求。越来越多社会经济和科技研究领域涉及到大数据应用,而大数据的基本属性,包括数量,速度,多样性等都出现层级式增长,同时数据中含有的价值越来越迫切被挖掘,所以大数据分析处理技术越来越被重视。目前比较常用的大数据分析处理技术主要有Hadoop相关组件,Python数据分析,Matlab数据分析,Spark等。Hadoop组件开源使用较广,功能强大。Python开发效率较快,可维护性高,但运行效率相对较低。Matlab功能强大,但要收费。Spark基于内存计算提供离线和实时处理,并有Mlib算法包提供较强的数据分析能力。本文主要介绍数梦工场大数据存储与处理平台(DataStudio平台)算法实验室,DataStudio平台基于Hadoop组件已经提供数据存储,处理,迁移,调度运行等功能。但对于数据的分析处理手段只能依靠MapReduce,sql等手动编写代码来完成。为实现丰富平台对于数据的处理分析手段的目标,基于上述背景,开发算法实验室,算法实验室向机器学习用户提供web可视化的算法实验开发,用户只需要选择算法模型、模型参数。由于Spark开源且能与Hadoop完美集成,基于内存计算效率较高,因此选择Spark Mlib算法包来作为算法实验室的底层支持。算法实验室采用J2EE体系结构,沿用了 MVC的设计思想,结合了一些oozie,quartz,hibernate等框架进行实现。最终算法实验开发完成。算法实验室的完成:第一,丰富了 DataStudio平台对于数据的分析处理手段,加快了对数据的处理分析能力,提高了平台的竞争力与易用性,并且支持新算法的扩展。第二,大大提高了用户数据分析流程的效率,用户无需编码,并且复用性较强。