论文部分内容阅读
随着大数据应用的日益流行,云计算技术找到了杀手级的应用。基于虚拟化技术的云计算平台资源分配更加灵活,能够适应大数据应用对平台资源动态变化的需求;同时云服务“按需获取”的业务模式方便了中小规模、非计算机技术背景的租户对大数据应用的使用。然而,作为云服务亟待解决的核心问题之一,云平台上大数据应用的性能也成为工业界和学术界最关注的问题。本文以大数据应用的性能优化为目标,分别从资源层、平台层以及作业层三个层面上,研究了云计算平台上大数据应用的部署和调度问题。具体研究内容和贡献如下:1.资源层策略研究方面,提出了虚拟计算集群的拓扑优化构建策略TOMON。本文通过对虚拟计算集群的初步性能测量,分析了集群计算性能与通信性能优化方面的冲突;之后综合考虑了大数据应用执行过程中虚拟计算集群计算性能和通信性能的均衡,构建出虚拟集群的整体性能优化模型;最后根据模型求解结果,设计出虚拟集群优化构建策略TOMON,提高大数据应用在虚拟集群中的执行效率。2.平台层策略研究方面,提出了大数据应用副本的优化部署策略RDMOC。本文通过对存储平台的初步性能测量,分析了存储设备性能以及应用副本特性对应用镜像装载效率的影响;之后,综合考虑了存储设备与应用副本的特性,设计出云计算存储平台的性能优化模型;最后根据模型求解结果,设计出应用副本在云存储平台的优化部署策略RDMOC,在资源层策略优化应用执行效率的基础上,进一步提高应用副本的整体装载效率。3.作业层策略研究方面,提出了针对两阶段作业调度场景的作业请求优化组合调度策略。本文设计了随机Petri网模型,对云服务的两阶段作业调度流程进行建模;之后对不同排序和分配策略下,大数据作业流的稳态性能进行量化建模和比较;最后根据性能建模结果,研究了不同情况下以优化吞吐率为目标的最佳组合调度策略,在资源层和平台层的部署策略优化单作业性能的基础上,进一步对多作业组成的作业流的整体性能进行优化。