一种支持多流并发的GPU高效内核调度方法研究与实现

来源 :刘园春 | 被引量 : 0次 | 上传用户:guaitaidejiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,GPU支持多个应用程序并发运行,各种应用程序在运行期间需要GPU上的不同资源。如果这些资源没有正确分配给这些应用程序的资源请求,往往会导致资源的利用不足,这对编程人员提出了挑战。内核是GPU计算中的关键,对内核所需GPU资源的高效分配有利于缩短整个GPU应用程序的运行时间。相关研究表明可以将内核根据执行时对不同资源的需求进行分类,并且不同种类的内核并发执行更有利于GPU资源的充分利用,从而缩短了整体多个应用程序的运行时间。基于这种思想,本文结合以往GPU上内核调度方法的研究,提出了一种多流CUDA(streams CUDA,s CUDA)的调度框架,以更高效地调度并发内核。它包含三个部分:多流的并发内核调度、CUDA流动态调度和数据分块传输策略。首先,在对具有不同执行行为的内核根据内核资源需求来分类以及不同种类的两个内核并发执行的研究基础上,本文提出了一种多流的并发内核调度方案。对于每组并发执行的两个内核,将分配给它们的线程块按照等于GPU中SM数量的程度划分成多个切片,类似于子内核,然后每次将其按(1/n)的比例混合分发到不同的CUDA流中,直到该组内核的切片都分发完,进一步增大不同种类内核并发执行的程度。其中n表示运行时间较短的子内核的数量,n的大小取决于执行完一个运行时间较长的子内核的时间内可以执行多少个时间较短的子内核。其次,考虑到CUDA流创建和分配调度的开销,固定数量的流并不一定适用于所有内核,本文提出了一种动态CUDA流调度策略,以动态分配最佳的CUDA流数量。最后基于内核切片并分流的思想,考虑将GPU计算中的数据传输部分中的数据进行分块分流传输调度,减少长数据传输任务的出现,进一步缩短多个GPU任务的运行时间。本文通过三组广泛使用的基准中的11个不同的内核来评估s CUDA的性能和执行时间。实验结果表明该调度框架能合理分配内核所需GPU资源,通过对CUDA流资源的高效调度进一步缩短了多个应用程序的执行时间,对比2019年的研究c CUDA(concurrent CUDA)实现了平均20%的提升。
其他文献
随着我国老龄化问题日趋严重,养老产业转型是必然趋势。旅居养老是集旅游与老年服务为一体的新兴养老方式。宜居、宜业的田园综合体是乡村旅游的重要载体,将旅居养老产业与其融合,既缓解了城市养老压力,又推动了乡村发展。围绕产业融合理论,总结田园综合体的实践经验与理论研究成果,从产业的高度关联性和产业融合动力的角度阐述田园综合体与旅居养老的融合基础。分析田园综合体与旅居养老产业融合过程中存在的异地养老配套政策
期刊
<正>培育学生创新素养是基础教育的重要使命,是落实党和国家人才战略的重大举措与坚实基础。课堂是培养学生创新素养的主要阵地,如何在体育课堂中落实学生创新素养的培育是高中体育课的主要议题之一。问题引领((Problem-Based Learning,以下称“PBL”)以问题为切入点,学生在问题情境下思考分析、分组讨论、解决问题的过程中,掌握了问题相关的知识背景、获得了解决问题的思路和能力、掌握了自主学
期刊
硅相关缺陷和辐照产生的空穴缺陷均可使CVD实验室生长钻石呈蓝色。近日,对一颗蓝色方形钻石样品进行显微放大观察、发光图像观察以及光谱学测试等,发现该样品为化学气相沉积法(CVD)合成钻石,红外光谱显示,该蓝色CVD合成钻石为Ⅱa型,未检测到与氢缺陷相关的吸收;紫外-可见-近红外吸收光谱显示,除了在737 nm [SiV]-和741 nm(GR1)处有非常强的吸收外,在830、856 nm和946 n
期刊
在篮球教学过程中,由于长期以来传统教学模式的局限性,忽略发挥学生的主体作用,忽略对学生体育学习兴趣的培养,每节课只进行单一技术练习,造成技术动作学习碎片化,无法发展学生综合能力等问题。实战情境课程模式强调学生在实战情境中进行组合练习,不仅使学生技术动作的学习得到很好的运用,同时能够有效促进学生体育学习兴趣。本文以实战情境课程模式对高中篮球学习效果的影响为研究对象,以无锡市玉祁高级中学高二年级两个篮
学位
[目的]本文旨在研究茶园间作绿豆和大豆对茶园土壤环境的影响,促进茶叶产业可持续发展,以优化茶园土壤环境、增加茶叶产量、提高茶叶品质。[方法]间作试验设置为茶树-不接种根瘤菌绿豆(T1)、茶树-接种根瘤菌绿豆(T2)、茶树-不接种根瘤菌大豆(T3)、茶树-接种根瘤菌大豆(T4)4个处理,以单作茶树为对照(CK),探究不同间作模式对茶园土壤pH值、土壤养分及茶叶理化指标的影响及土壤指标与茶叶品质之间的
期刊
目的对临床常用的5种保肝药物注射剂进行药物经济学分析。方法本文从中国卫生体系角度出发,根据药物性肝损伤疾病特点,构建Markov模型,对复方甘草酸苷、多烯磷脂酰胆碱、异甘草酸镁、甘草酸二铵以及还原型谷胱甘肽5种保肝药物进行成本-效果分析,并进行敏感性分析以验证结果稳健性。结果对于药物性肝损伤患者,甘草酸二铵、多烯磷酯酰胆碱以及还原型谷胱甘肽相比于复方甘草酸苷是绝对劣势治疗方案,而异甘草酸镁组比于复
期刊
篮球是高中生最喜欢的运动项目之一,打篮球既可以促进学生身体素质的提升,又可以促进学生竞争力、组织力、协调力和合作精神的培养。对高中篮球教学的积极作用进行了阐述,对高中篮球教学中的战术意识培养进行研究,提出高中篮球教学不能局限在篮球技巧的训练上,还应培养学生的战术意识,提高学生的战术水平,使其清晰掌握和运用篮球的基础战术技巧,初步了解攻防体系,从而提高篮球教学的质量和效果。
期刊
现代化是人类文明进步的重要标志,中国共产党作为顶层设计者,以马克思主义现代化思想为指南,立足中国国情,吸取人类现代化的经验教训,创造了蕴含丰富哲学思想的中国式现代化。中国式现代化以“普遍性”为参考又重视“特殊性”,以“同一性”为方向来化解“斗争性”,以“量”为基础来追求“质”,以正视“曲折性”来推动“前进性”。探赜中国式现代化中的哲学意蕴,既有助于领会中国式现代化的深刻内涵、理解党的二十大精神,也
期刊
以实战能力进阶为导向的高中篮球模块专项化教学设计,需要以课程标准和学生学习基础为依据,依照篮球运动特性与价值,聚焦核心素养,围绕篮球“实战能力”这一核心大概念,整体规划篮球教材内容与模块安排,运用学习进阶理论,设计出学生篮球实战能力提升的路径,凝练各个模块的学习主题,设计学习目标,构建结构化的学习内容,创设真实与适切的学习任务,形成有序的学、练、赛一体化学习活动,在提升学生篮球实战能力的同时,有效
期刊
贝淡宁《贤能政治》的出版,引起了众多学者的争论,但其研究的内容还不够深入和全面,所以仍有深入探讨的学术价值。本文从下面几个方面,对贝淡宁贤能政治进行研究。首先,为什么贤能政治值得引入?判断政治制度好坏的标准,需要从合理、合法和现实性出发。西方民主国家中的选举制度是采取一人一票的投票制,无论投票获胜的官员是否具有能够胜任这个岗位的能力,都要遵守少数服从多数的选择,由此可见,这样的选举制度容易导致暴政
学位