随着人类科技的进步以及信息技术的更新迭代,大数据已成为社会各行业信息技术发展的契机。但是大数据组件从安装到部署到使用的过程非常复杂,由此从业者们对一个功能完备,整合度高的大数据平台系统的需求非常强烈。但是开发一套功能齐全,界面友好性高的大数据平台系统也面临很多问题。比如一在整个大数据生态系统当中,组件复杂多样,即使专业人员从部署到测试完成也需要消耗大量精力。二是在大数据相关组件出现技术问题后,开发人员往往需要查看日志去解决问题。但大数据组件繁多,日志文件寻找困难。三是大数据组件往往需要实时的监控以及告警通知系统以避免处理不及时造成的大规模组件失灵等问题。四是为保证负载平衡往往需要对组件内部资源进行管理。五是市面的一些大数据平台如Ambari缺乏对大数据组件资源内部的管理,没有对日志的管理,界面而言不是很友好以及缺乏对非大数据组件的监控管理支持。针对这些问题,本文设计并实现了一套集大数据平台自动化部署与监控管理,日志告警以及资源管理一体化的系统。具体涉及大数据平台自动化部署模块,监控告警模块,日志管理模块,服务管理模块,资源管理模块五大模块。并分别实现了组件一键式部署,组件异常监控实时告警,组件日志管理,组件设置管理,组件资源可视化管理五大功能。系统采用一站式全链路数据开发工具,通过简单易学易操作的可视化界面并弥补现有大数据平台不足之处,实现企业级大数据平台快速搭建,应用部署及运维监控,大大降低了大数据应用的开发运维成本,为大数据开发者提供海量多源异构数据的采集、存储、处理、访问等一站式大数据能力。