现代化社会信息程度越来越高,数据量也飞速上涨,大数据时代也随之到来。针对目前产生的海量数据来源复杂、格式多样、存放分散等问题,需要建立一个覆盖主要业务和日常数据,实现数据清洗整合、业务分析挖掘的独立运行的可扩展大数据平台。本文以实验室开展的数据集成及分析平台项目为背景,设计并实现了一个具有多来源渠道、多结构的数据接入能力以及海量数据存储和分析能力的数据集成及分析平台。数据集成及分析平台提供各种数据源的数据的整合服务,将不同格式的数据统一为一致的展现方式,便于全局的管理;再对数据进行深度挖掘,提取具有商业价值的数据并进行高质量数据分析。论文完成的主要研究工作和最终成果包括:（1）数据分析和海量数据测试提供对清洗后的高质量数据提供离线分析服务。具体的研究开发内容包括:设计完成基于Mahout的K-Means算法实现和基于Spark的K-Means算法,并采用三个公开数据集来评估基于Mahout的K-Means算法和基于Spark的K-Means算法性能,对两种分布式平台下的实现算法进行对比分析。在理论论证和模拟环境测试的基础上,需要在实际支撑PB级数据工作的环境中进一步测试,以获得该数量级的测试结果,从而对实际的工程应用更好地指导和改进。选择华为云作为测试环境,采用基于Spark的K-Means算法,形成从100G到16T数据量级的数据分析测试报告。（2）平台实时监控采用企业级的开源软件Zabbix,用于服务器级别的监控。通过平台监控,保证平台数据的安全可靠,且对平台运行提供评估和状态实时监控。（3）数据可视化系统设计与实现对可视化系统进行数据库表设计,完成系统技术架构设计。针对可视化系统需提供的功能针对性的阐述关键功能的设计和代码实现,最后,对完成的可视化系统进行了运行效果的展示。