随着WEB 2.0,移动互联网和物联网的蓬勃发展等,使现在的数据呈现爆炸性的增长。面向海量数据的大数据平台研究和开发正在成为业界的热点。数据的采集、存储和分析是大数据平台的核心问题,其中数据采集主要用以解决多样数据源的接入问题;数据存储主要用于解决数据格式多样性和数据海量存储等问题;而数据分析以提供多样性的算法为目标,为此必须提供易插拔的分析算法引擎。本文基于对主流大数据开源框架的调研、分析和应用,提出了一种基于分布式存储的数据采集和分析平台。该解决方案以统一接口实现数据采集,整合多种存储方式提供数据存储,以插件化的算法引擎提供多样化的数据分析。本文从调研主流开源框架和技术平台入手,分析了分布式系统的技术特点,提出了面向大数据的数据采集和分析平台的功能性以及非功能性需求;接着介绍了本平台的设计迭代过程,对平台架构演进的各个阶段都进行了细致的说明;而后对本平台的实现和测试进行了详细的阐述,给出了功能性和非功能性两方面的测试结果;最后通过介绍了两个具体的应用实例,进一步验证了本平台的有效性。