【摘 要】
:
随着云计算的快速发展,计算机硬件和软件性能的提升以及技术的革新,近年来PaaS平台迎来了蓬勃发展。各种主流的开发框架和计算框架开始向云上迁移,提高了开发人员的工作效率
论文部分内容阅读
随着云计算的快速发展,计算机硬件和软件性能的提升以及技术的革新,近年来PaaS平台迎来了蓬勃发展。各种主流的开发框架和计算框架开始向云上迁移,提高了开发人员的工作效率。目前,PaaS平台提供的主要是基于单节点的框架或服务,比如程序开发软件、数据分析工具等。对于分布式框架,由于在云上集群化部署和管理存在一定的难度,目前在PaaS平台上的应用并不多。Spark分布式计算框架,作为目前最流行的大数据处理框架之一,开发人员对其需求也越来越大。由于人工部署一套Spark集群需要整合大量的计算资源,花费大量时间,集群资源的后续管理也存在诸多问题。因此,本文针对Spark集群服务,基于ansible自动化部署和管理工具,构建了一个具有集群自动化部署和管理功能的Spark PaaS平台,方便用户上传数据、提交并运行Spark任务。本文首先对相关技术进行分析,确定了构建Spark PaaS平台的可行性。接着对一些主流的自动化部署工具进行了研究分析,为ansible工具的选择提供理论依据。再结合实际的需求,提出了本平台的系统架构,将其划分为多个功能层。在此基础上,设计了通信模块、数据库模块、基础功能模块、集群管理模块、大文件传输模块,HDFS操作区模块、远程桌面服务模块、用户管理模块、日志管理模块等模块。之后,对各个功能模块,进行了详细的设计和实现。对于基础功能和集群管理模块,通过ansible服务,实现了小文件传输、远程命令执行、集群部署和删除、集群监控等功能。对于大文件传输模块,实现了分片快速上传以及断点续传功能。对于远程桌面服务,实现了自动登录功能。对于HDFS操作区模块,实现了通过web页面与HDFS进行交互的功能。最后,对Spark PaaS平台进行搭建部署,再对平台的各个模块进行了功能测试和性能测试,证明本Spark PaaS平台能够满足用户的需求并具有良好的体验。
其他文献
本文通过在分析沥青道路施工中应该注意的细节性问题的研究意义的基础上,对沥青道路施工中应该注意的细节性问题及原因进行分析。
整体叶轮作为典型的曲面薄壁件,在航天、船舶、化工及其他工程领域被广泛应用,叶轮制造水平极大影响着装备的性能和可靠性。整体叶轮常选用五轴数控机床进行铣削加工,因铣削力作用,导致薄壁叶片产生加工变形,造成加工误差。本文以五轴数控铣削技术为基础,对锥度球铣刀铣削力进行仿真和预测。研究铣削力对薄壁叶片加工变形的影响规律,计算加工误差并修正铣削刀路,从而提高薄壁叶片加工表面精度。首先,本文对整体叶轮进行数字
<正>在池塘、网箱等养殖的海水鱼类易患以下寄生虫病,必须积极防治。车轮虫病。车轮虫常寄生在鱼的体表及鳃上。当大量寄生时,鱼会成群结队地沿池边狂游,呈跑马症,并引起鱼的
煤矿勘查工作中瓦斯现场解析时间确定直接关系到煤层瓦斯气体含量的值,进而影响煤矿开采巷道和安全防护措施设计,本文就瓦斯现场解析时间的确定进行煤层瓦斯气体含量计算,得出与
针对巴基斯坦NJ水电站进厂交通洞砂岩和页岩为主,围岩差、互层多,易塌方和地下水丰富的特点,制定了合理的开挖支护方案.取得了满意的效果,为厂房及引水隧洞开挖支护积累了施
兰科杓兰属(Cypripedium)植物,也称“拖鞋兰”,是重要的温带地生兰属之一,具有极高的观赏价值,其科研价值也越来越受到人们的重视。近年来对杓兰属植物的研究不断深入,其分子
自20世纪以来,房地产行业与国民经济有着重要联系,是我国经济发展的支柱产业。作为资金密集型产业,房地产具有建设周期长、工程量大等特点,因此需要充足的资金支持。而2015年中央财经领导小组第十一次会议提出的去库存、去杠杆政策给房地产企业融资带来了极大的挑战,迫使房地产企业积极探索新的融资方式。但由于我国金融市场不发达,房地产市场不稳定等原因,我国房地产行业依旧面临着融资渠道少、融资压力大的问题。房地
近年来,玻璃幕墙以其优越的采光性能,广泛的应用于城市中的高楼大厦,但清洗过程中存在一些难题,传统的以人工作业为代表的壁面清洗方式不仅成本高而且危险系数大,因此设计开
针对高清车牌识别与视频监控系统运行现状,例如设备数量多、集成化有待提升等,进行全方位的分析,明确高清车牌识别与视频监控系统特点,例如道路车辆的快速抓拍、车牌的准确识