基于SLURM调度与异构编程的高性能计算平台设计与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:happysanban
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算(HPC)是一个国家科学技术进步的重要保障,它对科学计算、科研建模等需要大量数据处理和消耗算力的场景提供强大算力支持。伴随着计算机硬件的发展,软件对CPU、GPU、FPGA的使用越来越广泛,跨架构开发能力越来越被重视,设计一套能在不同架构处理器上运行的高性能计算平台的需求越来越明显。另外,算力是体现高性能计算的重要指标,但是要将高性能计算集群上的强大算力高效实施于各个领域中一直是当前各大行业遇到的问题,近年的互联网科技发展催生了很多优秀的技术工具和模块,但是由于应用开发多依赖单个互联网及硬件厂商封闭式编程环境,互相不能兼容使用,导致使用不同依赖库、计算库、运行环境、优化工具开发应用软件所带来的复杂性成倍增加,也使开发出的产品性能下降。本文从高性能计算平台的实际需求和现阶段遇到的问题出发,比如高性能计算的跨架构问题,代码库兼容问题,用户使用配置复杂,支持程序单一,程序运行性能不高等问题,对系统进行设计和实现。首先,使用Python的Flask框架设计实现了一个基于Slurm集群资源调度的Web服务平台,用户可通过Web页面对Slurm集群上的资源进行调配,通过表单提交的方式即可实现提交作业、查看作业、查看平台资源状态等功能。此外,由于各类型程序的正常运行需要相对应的运行环境依赖支持,否则易出现报错、影响性能等问题,因此本文通过调研整合了开源工具包Intel one API,使系统上编译的代码具有跨架构执行能力、以及各类程序运行的基本环境。接着,为了让各类程序运行环境便于使用,本文通过调研高性能计算系统常用需求预先配置了MPI、open MP、Tensor Flow、Py Torch、数据分析等各使用场景下的运行环境,供用户直接选择,不需用户大量配置,弥补了传统高性能计算平台只能提交MPI、open MP作业的不足。之后本文通过对平台支持的各类型作业进行实验分析做了性能优化,通过实验分析在不同环境变量和参数配置组合下的程序运行效率,得出最优作业运行环境、环境变量和参数配置策略组合,使系统上通过优化策略运行的程序比不使用优化策略具有更高的性能。最后本文对系统做了用例测试,和性能分析。本文从设计实现面向Web的高性能计算平台出发,在Web高性能计算平台的基础上基于性能优异的Intel one API工具包丰富了系统的使用场景和对硬件处理器的兼容性,解决了传统高性能计算平台支持程序相对较少、难以实现异构编程、使用时需要对运行环境进行大量配置等问题。最后,本文对平台上支持的程序进行了环境变量等的策略优化,使这些程序运行效率有不同层次的提升。
其他文献
随着休闲度假及健康消费理念的兴起,我国体育产业融合快速发展并逐步进入到高质量发展阶段,旅游产业和体育产业作为五大幸福产业中两个重要的产业类别,通过产业融合所形成的体育旅游新业态可谓前景无限,已成为社会所关注的焦点;“十四五”时期,在推进全域旅游和全民健身两大战略背景下,加快体育旅游产业转型升级,已成为建设全域旅游、体育强国和健康中国的必然要求。体育与旅游融合发展是武汉市体育产业和旅游产业结构优化升
学位
Web应用具备免安装、有浏览器就能运行的特点,深受用户喜爱。但因Web应用前端运行环境的复杂性和多样性,Web应用优化困难重重。Web应用前端监控,是对Web应用前端运行时的状态数据进行监控与分析。现存的Web应用前端监控工具普遍具有一些问题,不能够很好的满足公司实际需要,比如对前端体验的衡量标准和计算方式较为混乱、部分工具使用浏览器模拟数据不具有真实性、采用接口数据上传要处理跨域问题等。针对目前
学位
小学体育与健康课程是一门兼具对学生身体素质和道德品质双向提高功能和价值的独特科目,它一方面承担满足解决学生“传统体质问题”的重要任务,另一方面也是实现“非传统体质问题”解决方案的重要阵地,对小学阶段青少年在身体素质和思想道德品质具有独特的育人功能与价值,在学校教育中的比重不断加大。近年来,随着国家对小学体育教育改革的重视程度日渐提高,小学体育课程改革效果显著,但依然存在体育教育目标模糊、教学内容失
学位
近年来,随着体育赛事产业的不断发展,小众体育受到越来越多的关注和欢迎,此类赛事也成为商业开发的竞争焦点。在网络视频平台的媒介技术加持之下,小众体育赛事的传播打破以往的传播限制,拥有自主话语权使得传播主体开始自主生产内容。世界障碍追逐大赛的出现打破了原有小众体育赛事的传播影响力,虽然在网络上受到网民的好评,但是其赛事在后续发展与传播中依旧存在诸多问题。本文使用文献资料法和内容分析法,通过对小众体育赛
学位
信息化时代,体育产业与互联网深度融合,“互联网+体育”作为国家战略得到大力扶持。在体育产业转型升级过程中,体育直播平台数量快速增长,受众数量持续上升。但与此同时体育直播平台暴露出的诸多问题制约着体育直播平台的发展,导致受众忠诚度下降,受众流失等局面。为了让体育直播平台信息传播更加合理,受众满意持续提升,本研究根据受众感知,从量化角度对体育直播平台受众忠诚度的影响因素进行深度剖析。本研究以体育直播平
学位
近年来,随着社会经济的高速发展,我国人民群众的生活品质得到了显著的提升,对健康生活方式的追求日益强烈,极大程度的推进了体育产业以及旅游产业的发展。2018年国务院印发《国家乡村振兴战略规划(2018-2022)》,文件明确指出“推动要素跨界配置和产业有机融合,在农村开展乡村旅游活动”,2019年国务院颁布的《关于促进全民健身和体育消费推动体育产业高质量的发展意见》和《体育强国建设纲要》均提到发展体
学位
本研究总结了武汉市健身房会员消费行为的相关问题,旨在为促进健身房会员的健身消费提供了相关的建议。本研究采用文献资料法、问卷调查法、数理统计法、逻辑分析法、访谈法等研究方法,主要从调查问卷进行数据收集整理,论证主要以用户分群、交叉分析为主的逻辑进路,最后在研究发现的基础上给出相关建议。本研究以AISAS消费行为模型为基础,对武汉市七个中心城区14家健身房的272名会员进行随机抽样调查,首先对健身消费
学位
自北京成功获得2022年冬奥会举办权以来,冰雪运动在我国获得长足发展,“带动三亿人参与冰雪运动”已成为现实,媒体也对冰雪运动新闻报道倾注了极大热情。在此语境下,本文以新中国成立以来《人民日报》冰雪运动新闻报道为研究对象,运用词频分析与话语分析,从文本与社会实践两个维度考察相关新闻报道的话语特征与演进逻辑,以期为“后冬奥时期”我国冰雪运动的媒体报道及高质量健康发展提供参考借鉴。研究以冬奥会正式举办周
学位
近年来“线上教育”发展迅速,加之2020年初新冠肺炎疫情骤起,促使其成为高校、中小学与各类教育机构开展活动的重要方式。对于学龄前儿童及家长而言,居家隔离的特殊时期同样需要借助线上平台获得教育支持。本次研究创新性地将研究方向指向新冠肺炎背景下的线上教育,了解家长在特殊时期的真实想法与需求,为学前教育一线工作者和研究者提供参考,以助完善特殊时期教学活动的实施和家长工作的开展。笔者以线上教育与家庭教育相
学位
马拉松猝死伴随这项运动的诞生一直备受媒体关注,人民网对马拉松猝死事件报道的数量自2014年起到现在也不断增加,这在一定程度上能促进马拉松参与者主动寻找避免在比赛中猝死的方法和手段。作为国内最具影响力之一的主流媒体人民网对马拉松猝死事件报道的不当归因会影响受众的认知及情感倾向,从而导致产生舆论事件,不利于社会的稳定与和谐。因此,探究人民网对马拉松猝死事件的归因特征及由不当归因引发的问题,将对未来把关
学位