基于混合集群的高性能计算作业感知与调度技术研究

来源 :齐鲁工业大学 | 被引量 : 0次 | 上传用户:wxthaoa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算(High Performance Computing,HPC)除了在海洋模拟、气候预测、分子动力学模拟等科学计算领域具有传统优势之外,近年来也逐渐被广泛应用于人工智能、核能模拟、能源勘探、国民经济预测和决策等方面。高性能计算为这些领域带来了更高效、更准确的数据分析和计算能力,已成为当前世界各国争相抢占的科技制高点,是国家综合科技实力的重要标志。高性能计算集群内各个节点通过高速协同工作,可以提供比传统计算机或服务器更强大的计算性能,使超级计算机或高性能计算集群成为现代超算中心必不可少的基础设施。随着云计算技术的成熟,越来越多的学术机构和商业用户开始尝试使用云平台来支撑HPC应用运行。大量研究与实践已证明,云计算技术以其弹性供应、轻量虚拟化和资源控制等方面的优势,可作为高性能计算集群的有益补充。越来越多的超算中心已经或即将在传统高性能计算集群的基础之外,构建以虚拟机或容器为资源调度单位的云计算集群,以满足更多的应用场景。可以预见,异构超算中心将越来越广泛地基于云计算集群与传统高性能计算集群构成的混合集群,为各类高性能计算作业提供计算服务。然而,这种基于混合集群的计算模式也面临新的挑战:一方面,云计算集群虽然能够支撑高性能计算作业,但在性能方面仍然劣于传统高性能计算集群,将何种高性能计算作业调度到云上运行,是为用户提供最高的性价比计算服务的关键。另一方面,混合集群采用的资源管理与调度技术不同,计算资源配置也不同,将高性能计算作业调度到高性能计算集群还是云计算集群上,是使数据中心层面整体资源达到负载均衡的关键。因此,如何基于高性能计算与云计算混合集群进行高性能计算作业预测和调度,保证HPC用户获得更高的性价比并提高数据中心资源利用率,是当前异构超算中心混合集群管理领域急需研究和解决的问题。针对上述问题,本论文以HPC应用在物理HPC集群以及Kubernetes集群中运行时反映的性能特征为基础,从不同环境下运行HPC作业对集群能量消耗和作业执行成本的影响出发,对混合集群中HPC作业的感知与调度进行研究。主要研究内容和创新点如下:(1)设计了一种面向混合HPC应用场景的多元特征预测模型,并在物理HPC集群环境和Kubernetes集群环境下分别进行训练,以预测HPC作业需求特征。该模型可以根据用户提交的HPC作业需求,感知作业任务在某一集群环境下运行所需的总时间、CPU需求量和内存需求量,该感知预测功能为形成混合集群中HPC作业调度策略方法提供必要前提;(2)提出了一种基于混合集群的HPC作业调度策略方法,该方法以多元特征预测模型为基础,根据HPC作业的需求对运行时间、CPU和内存资源的需求量进行感知,以得到作业任务在各集群环境下运行所需的集群能量消耗和货币成本,并将其作为策略特征,将用户提交至数据中心的HPC作业任务调度至相对产生更少集群能量消耗和作业执行成本的集群环境中;(3)构建了一种基于物理HPC集群和Kubernetes集群混合的作业感知与调度方法架构,并对多元特征预测模型和HPC作业调度策略方法进行功能集成,以验证本论文提出的感知与调度方法对资源数据中心的影响。
其他文献
随着工业互联网技术的快速发展,越来越多的工业控制系统与互联网相连,使得ICS面临越来越多的网络安全威胁。如果ICS系统被入侵或遭受攻击,可能会导致生产线停机、设备损坏、数据丢失或泄露等严重后果,对工业生产和经济发展带来极大影响。因此,工业控制系统的安全问题必须得到很好的保证。入侵响应机制是保障ICS安全的重要组成部分,已经被视为ICS安全体系中的最后一道防线。只有在ICS入侵事件发生时采取快速、有
学位
随着中国人口的老龄化和预期平均寿命的延长,老年人的身心健康受到政府和社会各个领域的关注。在日常生活中,跌倒行为的发生是对老年人生命安全和身体健康最常见和最严重的威胁。检测、预防和实时干预跌倒的发生,可以显著降低老年人跌倒的风险,减轻跌倒对老年人产生的危害和对生活质量的影响。可穿戴装置以其便于携带、隐私性高、检测区域不受限等特点在跌倒检测中得到了广泛的应用,但由于老年人行走缓慢,手臂、臀部和腰部的运
学位
进入21世纪以来,从2001年“9·11”恐怖袭击到2008年“9·15”金融海啸,再到特朗普上台、英国“脱欧”、新冠肺炎疫情,我们频繁的“见证历史”。世界进入动荡变革期,西方学者提出的“无极世界”“零和世界”等一系列的概念都不足以概括世界巨变。“黑天鹅”“灰犀牛”等各种颠覆我们认知的事件层出不穷,外界对我国的压制和遏制随时可能升级。当代中国青年生逢其时,是社会的希望,民族的未来,祖国建设的主力军
学位
3D打印技术因可高效生产结构复杂的零件而被广泛应用于越来越多的领域。随着工业设计的不断发展,行业中对零件的性能、功能和应用都提出了更高的要求,多色多材料3D打印能够赋予模型多种属性,如颜色、强度和模量等,从而创造出更加复杂、具有多种性能属性的零件,进一步增强产品功能。但目前市面上的3D打印机以制造单色单材料零件为主,熔融沉积成型(FDM)3D打印技术由于成本低、操作简单而广受欢迎,因此开发一款消费
学位
近年来,随着互联网技术和大数据技术的广泛应用,工业互联网技术蓬勃兴起。工业互联网推动全球产业自我转型和重组,在产品、系统、工厂和地区等方面变得更加多样化。从工业经济的角度来看,工业互联网可以被视为一种新的生产力和竞争力的来源。它可以帮助企业实现数字化转型,从传统的生产制造向智能化制造转变,实现从单纯的产品供应商向智能化产品与服务供应商的转型。这种转型可以为企业提供更多的增值服务,帮助企业更好地了解
学位
随着自动化技术与电子技术的不断发展,自动导向车(Automated Guided Vehicle)逐渐被广泛应用于制造业、物流、仓储等领域,但是用于农业温室大棚的AGV还处于初期研究阶段。相比较室内、普通工厂等场景,农业温室大棚中温度高、湿度大且作业通道狭小,对AGV电机与电池的寿命、工作效率等影响更显著,因此,本文面向农业温室大棚专用的智能AGV,研发了一套基于STM32的实时采集、监测电机电池
学位
随着国家经济的快速发展,人们生活的物质需求也随之增加,对产品的需求也日趋个性化,导致企业生产小批量、定制化的产品越来越多。随之而来的是生产排程越来越复杂,由于缺乏有经验的专业排程人员和高级排程软件系统,导致生产效率低、交货时间慢等问题。高级计划与排程(APS)是以有限能力和可变生产提前期在众多的约束条件下迅速制定合理且具体的车间生产调度计划。但由于传统生产企业各个生产环节相互独立导致APS系统与实
学位
近年来,随着高性能计算的发展,在超级计算机上进行数值模拟逐渐成为解决大规模科学与工程问题的重要手段之一。图形处理器GPU除了在处理图形计算上具有优势外,也逐渐被应用于密集数值计算上。同时,计算流体力学随着数值技术、并行技术和超级计算的发展,已经逐渐成为研究流体力学的支柱之一。格子玻尔兹曼方法是一种基于介观模拟尺度的计算流体力学方法,通过对大量离散粒子的统计分析从而得到宏观状态下流体的运动规律,已经
学位
《公共安全视频监控联网系统信息传输、交换、控制技术要求》(简称GB/T28181-2016标准)是由我国公安部科技信息化局提出的国家安防视频监控标准。该标准的实际推广应用,解决了视频监控联网系统中互联互通的瓶颈问题,破解了视频联网中最关键的通信信令以及媒体格式规范难题,使得安防行业的视频监控联网标准化建设取得了显著进展。然而,在安防系统的建设中,对于GB/T 28181在SIP(Session I
学位
随着生产力的发展和科技的进步,人们的物质需要得到基本满足,与此同时人们的审美能力日益提升,精神需求走向多元化、个性化,重视人与物品、人与人之间的交互,对艺术以及“美”提出了新的要求。在此背景下,认知心理学为各领域的设计师提供了十分丰富的理论依据,因此,将认知心理学的相关理论和研究成果作为交互式书籍设计研究的切入点具有可行性与科学性,有助于提升书籍设计师的美学意识、构思创意和技术手法,对于重新审视书
学位