多超算中心算力组合调度策略研究

来源 :齐鲁工业大学 | 被引量 : 0次 | 上传用户:jackiesage
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,我国的超算事业迎来了飞速发展,超级计算机已经成为推动科技创新发展的一个重要工具。然而,用户对超算算力的需求迅猛增长,日益涌现的新型计算服务也对计算规模、时延、灵活性等方面提出了严格要求。多超算中心互联出现,能够解决上述问题。多超算中心互联可以整合跨地域超算中心的计算资源和存储资源,能够高效组织跨地域的多个超算为用户提供多样化算力服务,是支撑高质量计算服务的重要途径。但如何在多超算中心互联系统中高效地将计算节点算力与用户作业匹配是亟需解决的问题。因此,本文围绕多超算中心互联展开研究,针对不同用户作业的需求和特征,深入探讨算力组合调度策略,优化整体作业的完成时间。本文的主要研究内容和贡献如下:(1)针对跨地域超算中心对计算密集型作业的处理问题,本文提出了一种改进知识的蚁群算法。该算法解决了一些超算算力难以满足对截止时间有严格要求的用户作业问题。本文首先对多超算中心算力组合调度进行数学建模,在多超算中心作业截止时间、计算节点存储资源约束下,构建了整体作业完成时间最小化模型。然后设计一种改进的蚁群算法求解这一问题。该算法是在经典蚁群算法的基础上,设计了知识体,通过修改状态转移概率公式,进而影响蚂蚁运动方向。仿真结果表明,改进后的算法能够提高超算算力与作业匹配的精准度,能够快速地调度多超算中心的算力资源,提高了多超算中心资源利用率。(2)针对跨地域超算中心对数据密集型作业的处理问题,本文提出了一种启发式算力组合调度算法。该算法的核心思想是将数据本地性与超算中心负载均衡相结合,通过网络传输数据量较小的作业,减少不必要的数据移动,且支持数据非本地超算中心处理。本文首先将作业拆分为多个子作业,将最小化多超算中心数据密集型作业完成时间问题表述为线性规划,并设计了一种启发式算法。该算法先将作业按照完成时间排序,再优先放置具有最小完成时间的作业,同时兼顾超算中作业负载均衡。仿真结果表明,该算法提供的算力组合调度策略能显著缩短整体作业的完成时间,具有较高准确性和鲁棒性。
其他文献
3D打印技术因可高效生产结构复杂的零件而被广泛应用于越来越多的领域。随着工业设计的不断发展,行业中对零件的性能、功能和应用都提出了更高的要求,多色多材料3D打印能够赋予模型多种属性,如颜色、强度和模量等,从而创造出更加复杂、具有多种性能属性的零件,进一步增强产品功能。但目前市面上的3D打印机以制造单色单材料零件为主,熔融沉积成型(FDM)3D打印技术由于成本低、操作简单而广受欢迎,因此开发一款消费
学位
近年来,随着互联网技术和大数据技术的广泛应用,工业互联网技术蓬勃兴起。工业互联网推动全球产业自我转型和重组,在产品、系统、工厂和地区等方面变得更加多样化。从工业经济的角度来看,工业互联网可以被视为一种新的生产力和竞争力的来源。它可以帮助企业实现数字化转型,从传统的生产制造向智能化制造转变,实现从单纯的产品供应商向智能化产品与服务供应商的转型。这种转型可以为企业提供更多的增值服务,帮助企业更好地了解
学位
随着自动化技术与电子技术的不断发展,自动导向车(Automated Guided Vehicle)逐渐被广泛应用于制造业、物流、仓储等领域,但是用于农业温室大棚的AGV还处于初期研究阶段。相比较室内、普通工厂等场景,农业温室大棚中温度高、湿度大且作业通道狭小,对AGV电机与电池的寿命、工作效率等影响更显著,因此,本文面向农业温室大棚专用的智能AGV,研发了一套基于STM32的实时采集、监测电机电池
学位
随着国家经济的快速发展,人们生活的物质需求也随之增加,对产品的需求也日趋个性化,导致企业生产小批量、定制化的产品越来越多。随之而来的是生产排程越来越复杂,由于缺乏有经验的专业排程人员和高级排程软件系统,导致生产效率低、交货时间慢等问题。高级计划与排程(APS)是以有限能力和可变生产提前期在众多的约束条件下迅速制定合理且具体的车间生产调度计划。但由于传统生产企业各个生产环节相互独立导致APS系统与实
学位
近年来,随着高性能计算的发展,在超级计算机上进行数值模拟逐渐成为解决大规模科学与工程问题的重要手段之一。图形处理器GPU除了在处理图形计算上具有优势外,也逐渐被应用于密集数值计算上。同时,计算流体力学随着数值技术、并行技术和超级计算的发展,已经逐渐成为研究流体力学的支柱之一。格子玻尔兹曼方法是一种基于介观模拟尺度的计算流体力学方法,通过对大量离散粒子的统计分析从而得到宏观状态下流体的运动规律,已经
学位
《公共安全视频监控联网系统信息传输、交换、控制技术要求》(简称GB/T28181-2016标准)是由我国公安部科技信息化局提出的国家安防视频监控标准。该标准的实际推广应用,解决了视频监控联网系统中互联互通的瓶颈问题,破解了视频联网中最关键的通信信令以及媒体格式规范难题,使得安防行业的视频监控联网标准化建设取得了显著进展。然而,在安防系统的建设中,对于GB/T 28181在SIP(Session I
学位
随着生产力的发展和科技的进步,人们的物质需要得到基本满足,与此同时人们的审美能力日益提升,精神需求走向多元化、个性化,重视人与物品、人与人之间的交互,对艺术以及“美”提出了新的要求。在此背景下,认知心理学为各领域的设计师提供了十分丰富的理论依据,因此,将认知心理学的相关理论和研究成果作为交互式书籍设计研究的切入点具有可行性与科学性,有助于提升书籍设计师的美学意识、构思创意和技术手法,对于重新审视书
学位
高性能计算(High Performance Computing,HPC)除了在海洋模拟、气候预测、分子动力学模拟等科学计算领域具有传统优势之外,近年来也逐渐被广泛应用于人工智能、核能模拟、能源勘探、国民经济预测和决策等方面。高性能计算为这些领域带来了更高效、更准确的数据分析和计算能力,已成为当前世界各国争相抢占的科技制高点,是国家综合科技实力的重要标志。高性能计算集群内各个节点通过高速协同工作,
学位
互联网时代,用户从海量的网络服务中选择符合自己需求的服务,无异于大海捞针,而个性化的Web服务推荐技术和方法能够解决这一难题。然而,移动设备的激增导致具有相似或相同功能的服务越来越多,影响了用户体验。因此,用户更感兴趣的是服务的响应时间和可靠性。服务质量(Quality of Service,QoS)是一个衡量Web服务非功能性能的属性,是个性化服务推荐的一个重要标准。但是,现有的基于QoS预测的
学位
随着近年来云计算、人工智能、高性能计算等领域应用增多,数据中心对计算资源的需求水涨船高。除CPU资源外,图形处理器(GPU)资源凭借其高带宽、高主频和优异的并行计算能力等特性成为另一种优质计算资源。由于GPU资源价格普遍较高,使其成为不同计算应用场景中的稀缺性资源,围绕它的调度也成为业内重点研究方向。目前在GPU资源调度上的研究多局限于单一平台,但当前数据中心往往会部署针对不同领域的多种平台,由于
学位