图神经网络采样训练的性能优化研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:a956280507
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习领域中,时间性能以及准确率是评估一个模型好坏的两个最为关键的指标。近几年,图神经网络由于能够很好的处理其他深度学习方法无法很好处理的非欧氏空间数据而得到了迅猛发展。目前图神经网络领域的研究者们更多地关注图神经网络模型的准确度而忽略了对于图神经网络模型的时间性能的研究。图神经网络为了处理非欧式空间的图数据,其模型结构及训练过程相比于已有的深度神经网络有着很大的区别,并因此具有了很多新的性能特性。本文旨在通过性能评测分析发现图神经网络训练的性能特性以及瓶颈,并进一步对图神经网络训练过程进行优化加速。本文工作主要包括以下两个方面:(1)图神经网络训练性能评测分析本文基于当前主流的两个图神经网络框架对图神经网络在不同任务中的训练性能进行评测分析。本文评测和比较了图神经网络模型在两个框架下训练时的时间性能、GPU利用率以及显存占用等性能指标,并根据发现的图神经网络性能特性提出了一些图神经网络时间性能优化的建议和指导方向。通过本文评测工作所发现的图神经网络训练过程中数据处理阶段是训练的主要时间性能瓶颈以及训练对GPU资源的利用率低等模型性能特性,能够对本文进一步的模型训练性能优化工作提供方向引导。(2)图神经网络采样训练优化加速本文针对基于采样的图神经网络训练中的主要时间性能瓶颈提出了对应的优化方案,解决了采样以及数据加载阶段会成为图神经网络训练的主要时间性能瓶颈的问题。针对采样阶段,本文提出了负载均衡的并行采样优化方法;针对数据加载阶段中的数据聚合操作,本文通过对采样节点重排序以尽可能合并访存以及并行特征预取对数据聚合操作进行加速优化;针对数据加载阶段中数据传送操作,本文使用了节点特征缓存的方法来减少数据传送量以此降低时间损耗。此外,为了降低训练的总体开销以及有利于节点特征缓存,本文提出了基于主成分分析的节点特征稀疏方法。通过GraphSAGE模型在AmazonProducts数据集上的实验证明,本文提出的训练加速方案能使得模型训练得到7.39倍的加速效果。
其他文献
近年来,随着人工智能技术的不断发展,大量应用场景开启了智能化、自动化的进程,其中,自动驾驶成为备受关注的一个领域。为了能够进行自主的路线规划和及时避障,自动驾驶汽车需要准确的环境感知能力。激光雷达可以获取周围场景的三维数据,弥补光学相机的不足,而点云语义分割可以对激光雷达采集的三维点云数据预测出逐点的语义类别标签,实现场景理解。因此激光雷达点云语义分割方法的研究对于自动驾驶的实现至关重要。然而,自
学位
三文鱼是一种富含蛋白质、脂质及其他营养成分的水产品,深受广大消费者的喜爱。低温是抑制微生物生长以及抑制脂质氧化并影响三文鱼保质期的最重要的环境因素,但在实际的冷链物流过程中,尤其是在装卸货物时,要保持温度恒定非常困难,发生温度波动难以避免。因此,冷链物流过程中温度波动如何影响三文鱼品质,以及如何开发保鲜技术来控制其品质劣变是亟待解决的问题。为探究三文鱼的腐败原因及保鲜技术的研发,本研究首先对比研究
学位
金属有机框架(MOFs)材料具有结构多样性、大比表面积、可控的孔径以及主客相互作用等优点,近年来一直是人们的研究热点。而具有独特二维结构的半导体性质金属有机框架(2D MOFs)材料,经过进一步的结构优化后,可实现金属有机框架中金属/有机配体的功能化修饰,调控材料的半导体特性及其对目标检测物的吸附效果、氧化还原反应等,将为制备新型高性能的场效应晶体管元件(FET)以及MOFs基生物传感器和气体传感
学位
本论文进行了金属药物的抗转移体系构建及机理研究。主要分以下两个部分:(1)研究了金属药物顺铂与肿瘤转移相关蛋白Sp1的反应活性,并探究反应差异性原因;(2)设计并合成了一种以人血清蛋白HSANP做为载体的Ru(Ⅲ)和反式维甲酸(ATRA)共运输体系,该金属药物共运输体系毒性低且具备抗肿瘤转移效果。以上两项工作对金属抗癌药物的构建及其作用机理进行了深入的探索,希望可以给新的金属抗癌药物的设计与合成提
学位
迄今为止,日常大宗化学品主要来源于石油、天然气和煤等不可再生的化石资源。生物质是地球上唯一可再生的碳资源,高效合成生物基高值化学品的研发对促进化工的绿色合成与可持续发展具有重要意义。然而,由于生物质组成结构的多样性、中间产物与反应通道的复杂性,生物质定向合成高值化学品仍是具有挑战性的科技难题。本论文通过生物基复杂体系反应路径的有机耦合,结合催化剂功能化设计,探索研究了半纤维素定向合成生物基高值化学
学位
近年来,基于深度学习的伪造视觉内容对网络空间安全造成了极大危害,攻击者利用伪造的虚假图像/视频敲诈勒索、混淆视听,严重威胁着认知安全、司法正义、甚至国家安全。针对深度伪造视频的检测技术成为一个日益迫切的需求,其中威胁性最大的是面向人像的深度伪造(如伪造名人发表敏感言论、做敏感行为),也是本文的研究重点。虽然现有检测模型在标准数据集上表现良好,但仍存在两个问题。一方面,现有检测模型大多直接采用语义分
学位
目前,电力的需求和使用正在迅速增长。如果持续使用煤炭、燃油等其他化石能源来发电,总有一天会耗尽资源。为了解决化石能源枯竭的问题,必须通过重新利用现有能源资源和开发利用这些能源的有效方法来探索可替代的可再生能源。随着人们对与全球变暖有关的环境污染的认识不断提高,越来越多人进行科学研究、以开发出环境友好型能源。热电发电机(TEG)是一种具有发展潜力的可再生能源。目前,TEG还没有充分发挥出其作为能源的
学位
当前社会发展过度依赖不可再生的化石资源,由此引发了能源短缺和环境恶化等一系列问题,这不利于人类社会的长期发展。在此形势下,我们迫切需要构建资源、能源的可持续发展体系,而在一系列相关举措中,合理开发和有效利用可再生资源显得尤为重要。生物质资源是有机碳的一个可再生来源,合理利用生物质资源可以生产出各类清洁燃料和清洁化学品,应用前景广阔。其中,来源最广泛且价格最低廉的木质纤维素生物质富含含氧基团(如羟基
学位
技术创新是人类文明进步的动力,也是企业不断拓展市场,超越竞争对手的重要手段,更是国家弯道超车、建立优势的有效措施。创新驱动已成为我国经济发展的重要战略选择。国际贸易摩擦和科技竞争彰显了自主创新对企业成长的重要性。创业板上市企业作为实践科技创新的有效单元,其社会价值与成长性受到关注。影响创业板上市企业成长的因素很多,其中股权集中度是一个重要因素,因为股权集中度影响到董事会及公司高管的决策权力配置,进
学位
全无机铅卤钙钛矿材料不仅具有光致发光量子效率高,非辐射复合率低,直接带隙可调等优异的性质,还具有非常好的稳定性,是一种极具潜力的光电材料,在太阳能电池,光电探测器,发光二极管等方面具有巨大的应用前景。本论文采用化学气相沉积(Chemical vapor deposition,CVD)方法,通过调控实验参数,合成了方形微米片、棱台和三角锥三种稳定形貌的高质量CsPbBr3微米晶,并对其结构和发光性能
学位