【摘 要】
:
近年来,在软件算法和硬件设备的支持下,深度学习发展迅速,进入到了人们的生活中,影响着社会生产的方方面面。然而,现有的软件算法对深度学习的支持仍有不足之处。通用矩阵乘法(GEneral Matrix Multiplication,即GEMM)例程作为深度学习最常用的例程,在深度卷积神经网络中存在对硬件设备的计算资源利用不足的情况,原因主要有:深度卷积神经网络中涉及到的GEMM的矩阵维度一般较小且不同
论文部分内容阅读
近年来,在软件算法和硬件设备的支持下,深度学习发展迅速,进入到了人们的生活中,影响着社会生产的方方面面。然而,现有的软件算法对深度学习的支持仍有不足之处。通用矩阵乘法(GEneral Matrix Multiplication,即GEMM)例程作为深度学习最常用的例程,在深度卷积神经网络中存在对硬件设备的计算资源利用不足的情况,原因主要有:深度卷积神经网络中涉及到的GEMM的矩阵维度一般较小且不同,从而无法充分利用GPU的并行性;针对不同架构GPU的GEMM运算优化场景覆盖面不全。本文针对GEMM在深度卷积神经网络中的应用场景,设计并实现批量GEMM运算框架,该框架能够根据不同架构的GPU进行自适应动态调整优化,有效地提高了计算资源利用率。研究内容具体如下:(1)基于AMD的Radeon开源开放计算平台(ROCm)和异构计算思想,利用C++和异构计算可移植接口(HIP)分别实现基于CPU的Le Net和基于GPU的Le Net,通过研究基于GPU的GEMM在Le Net中的实现原理和处理过程,结合对Goog Le Net的Inception结构的分析,得到基于GPU针对维度不同的批量GEMM的优化能有效提高深度卷积神经网络的运算效率的结论。(2)MAGMA加速库中的vbatch例程针对维度不同的批量GEMM运算进行了优化,对其中的方法和原理进行研究,针对vbatch例程软件约束的不足之处,提出基于Kernel Occupancy的内核函数实例选择方案并应用其中对vbatch例程进行优化。(3)基于MAGMA vbatch例程的原理,针对vbatch例程分片策略的不足之处,重新设计一套分片策略,并利用HIP实现一个框架来处理批量GEMM中所有的计算,该框架通过基于Kernel Occupancy的内核函数实例选择方案对不同的GPU架构进行自适应动态调整优化。选取Goog Le Net作为深度学习领域的样例,利用ROCm平台下的MIOpen实现Goog Le Net,然后分别将vbatch例程和该框架集成到Goog Le Net中,替换原本的批量GEMM运算部分,对比vbatch例程,该框架在模型训练上达到了2.39倍的加速效果,从而验证本文提出的优化方案的有效性和可行性。
其他文献
随着匿名通信技术的不断发展和人们隐私保护意识的日益增强,人们访问匿名网络的趋势正逐渐上升。然而,Tor(The Second-Generation Onion Router)、I2P(Invisible Internet Project)、Freenet等暗网匿名通信工具作为搭建匿名通信的桥梁,其复杂性和高度隐蔽性极大保护了使用者的隐私,也成为暗网中违法犯罪分子隐匿其行踪的工具。面临暗网中的非法活
随着教育改革的不断推进,在初中语文教学过程中,教师必须清醒地认识当前的教育发展,及时制定新的教学策略,创建新型的教学活动,对基本的教学元素进行创新,改进初中语文教学的实效性,促进了初中生的成长和发展。同时,语文教师要抓好日常教学,加强学生核心素养的培养,想办法将核心素养融入教学,进行教学的积极创新。论文简要分析了初中语文教学现状,以及加强初中生语文核心素养培育的重要性,进而提出了核心素养背景下初中
研究汽车碰撞中乘员的损伤机理对于保护生命、降低交通事故损失、提升车辆产品开发水平具有重要意义。数据显示,胸部钝性冲击引起的心脏及血管破裂是乘员死亡的主要原因之一。现阶段对乘员胸部的钝性损伤研究多集中在肋骨骨折、胸腔变形,对内部器官组织尤其是心血管系统的损伤尚缺乏认识。人体心脏及与之相连的血管内充满大量血液,其中血液的流速、压力等物理场会随心动周期不断变化。基于生物力学法研究心血管系统的钝性损伤涉及
通过梳理湖南省L县城乡居民基本养老保险政策调整及实施脉络发现,乡镇农民参保选择以最低档次缴费标准为主,缴费补贴机制不合理、个人账户收益不显著,农民对政策认知不清晰,农民受传统养老思想影响的盲目从众心理与“经济人”选择偏差是农民普遍参保最低档次缴费形成的主要成因,应提高最低参保缴费数额,改进个人账户管理机制,完善多缴多补配套政策,加强农民政策认知宣传,以完善城乡居民基本养老保险现行政策,更好助力乡村
滚动轴承与定轴齿轮是现代工业重要的组成部分,长时间工作在复杂恶劣的工况下,易引发各类故障,危及使用者的生命财产安全,针对滚动轴承与定轴齿轮的故障进行诊断具备重要的应用价值。而从信号中提取具备明确物理意义、高精度的故障特征参数是实现可靠故障诊断的前提。基于故障振动响应信号机理模型,融合自编码网络与稀疏表示方法,分别针对滚动轴承与定轴齿轮故障特征提取展开了研究。设计了提取平稳型与冲击型故障特征参数的两
<正>岩土工程作为土木工程的重要分支,主要研究土壤、岩石的力学性质及其在工程中的应用。而岩土工程测试技术可为岩土工程设计、施工、运营提供必要的技术支持,辅助工程人员科学评估土体和岩石的力学性质、稳定性等参数,以较大程度保障工程安全性。由姚直书、薛维培和蔡海兵联合编著、武汉理工大学出版社出版的《岩土工程测试技术》一书,结合实际案例介绍岩土工程各项测试技术的运用,对研究岩土工程测试技术的应用及发展前景
抑郁症是现代最常见的一种心理精神疾病,其发病与心理、生物以及社会环境等多因素相关,其中生物因素表现为人体中的生物小分子水平异常,如神经递质、神经递质类激素、氨基酸等,简便高效的检测人体体液中的这些物质对于抑郁症的研究、诊断及治疗具有重要意义。但目前用于检测这些物质的电化学传感装置较少,且由于很多生物小分子的氧化电位相近,难以做到同时检测。石墨烯具有优异的电化学特性,与贵金属纳米颗粒结合产生良好的协
道路脱空病害是一种危害较大的结构病害,直接影响道路的使用寿命和性能,严重时可使路面表面产生凹陷,造成严重的生命财产损失。由于道路脱空病害具有很强的隐蔽性,单靠传统的检测技术已不能满足现代道路建设的要求。目前国内在检测道路脱空病害的过程中,存在着无法进行无损检测、精度低、自动化程度低等问题。本文将基于深度学习和探地雷达技术进行脱空检测的研究。本文的主要研究内容如下:(1)道路脱空病害的探地雷达数据特
中间投入品作为物化型技术溢出,是制造业企业绿色低碳转型的重要影响因素。本文从行业间投入产出关联的视角出发,以历年外资准入政策为事实依据,结合投入产出表,构建了与上游中间品外资进入自由化程度指标,并探讨了其对下游制造企业绿色低碳转型的影响。研究发现,外资中间品绿色技术溢出导致的有偏技术进步和企业自身的技术吸收能力是最重要的影响途径,且中间品外资进入自由化程度提高对绿色低碳转型的促进作用在低技术行业和
随着社会时代不断发展,我国高校教育理念越来越注重多学科交叉、宽适应创新人才的培养模式,要求学生具备全面、专业的综合素质。传统教育模式更强调学生的专业知识,而忽视了学生在品德修养、心理健康、人际交往以及美学素养等方面的培养。因此,国内众多高校通过引入“书院制”教育模式来弥补传统教育模式的不足,“书院制”教育模式秉承传统的通识与博雅教育理念,培养“通才”而非纯粹的“专才”。以学生住宿建筑作为物质载体的