高效图神经网络加速研究:算法与架构

来源 :浙江大学 | 被引量 : 0次 | 上传用户:bynlxd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图是一种具有良好表达能力的数据结构,被广泛用于不同领域中表示元素之间的复杂关系。得益于近年来深度学习技术的快速发展,神经网络被扩展至图领域,图神经网络应运而生。然而,图神经网络由于其不规则的访存以及不规则和规则的双重运算模式,通用计算平台、传统神经网络加速器以及传统图计算加速器在处理图神经网络时都效率低下。此外,现实世界中图的规模庞大且仍持续增长,处理如此规模的图需要很高的存储成本和运算成本。本文对图神经网络带来的挑战进行了总结,并且从算法到硬件架构上提出了相应的解决方法。本文的主要研究内容以及创新点为:1.针对图神经网络的量化架构。本文首先通过对图神经网络的存储特点进行了分析,发现其存储瓶颈主要在于节点的初始特征向量。基于该发现,不同于已有图神经网络量化方法采用了与传统神经网络量化相似的策略,即对于模型输入和模式参数采用相似的量化方法,本文首先着重于对输入图数据的量化压缩。为了打破现有基于标量量化的图神经网络量化方法的压缩性能限制,本文将乘积量化引入到图神经网络中。为了加速原始乘积量化方法的训练过程并且提供更高的压缩效果,本文提出了增强乘积量化。最后,通过与标量量化结合,一个完整的图神经网络量化架构被提出。通过实验证明,与现有量化方法对比,本文所提出的量化方法能够在将模型准确率损失限制在1%内的情况下,提供高于其他方法一个数量级的压缩性能。2.针对图神经网络的采样加速设计。由于原始图神经网络采用了全批次的方法进行训练,其具有训练效率低且扩展性差的缺点,图采样方法被提出以解决该问题,并且被广泛应用于图神经网络训练中。然而,随着图规模的不断增长,图采样阶段产生的时间成本越来越高,特别是在大规模分布式处理中甚至成了图神经网络训练的主要瓶颈。本文提出了一个针对图采样的加速器设计,首先考虑了对多种采样算法的支持以及保留对未来算法的接口,采用RISC-V通过QRCH架构进行指令扩展,同时拥有灵活性和高性能的优点;之后,通过深度的流水线设计,将采样的延迟进行隐藏,实现整体的高效采样;访存的乱序支持使得该设计能够支持大规模地并行访存请求。与现有图神经网络训练框架AliGraph在CPU中的采样速度对比,本文提出的设计能够提供约894倍的加速比。3.针对大规模分布式图神经网络的近存储处理架构设计。不同于中小规模的图神经网络处理,在大规模分布式处理中,图采样阶段成为主要瓶颈,其原因在于跨分布式节点间本征的高延迟通信以及图神经网络的不规则访存导致带宽的低利用率,进而导致计算资源的利用率极为低下。本文首先提出了一种层次化的存储扩展方法以解决大容量图数据存储的问题;之后在内存扩展模块中实现了近存储处理模块,通过卸载一部分图采样和图聚合操作,能够极大地减少跨节点通信,且使得数据传输变得有规则,从而提升处理效率;最后,通过提出的图划分方法和调度策略,进一步减少图结构数据的跨节点传输并且保持分布式节点间的负载平衡。实验结果表示,与广泛使用的分布式训练框架DGL和P3相比,本文的架构分别能够达到约27倍和9倍的加速比。
其他文献
<正>答:鲁班锁和七巧板、华容道一样,都是我国传统的儿童益智玩具,可以锻炼孩子的动手能力和空间想象力。相传春秋时期的木匠鲁班发明了这种玩具。这件精巧的小玩意儿,制作时无需一根钉子,就能把六根木条紧紧咬合在一起,设计难度足有"五
期刊
异向介质理论、拓扑电磁学和非厄米理论是近年来彼此关联的三个热点科研领域,具有良好应用发展前景。异向介质理论可用于构造具有新奇散射特性的的材料及器件;拓扑电磁学可用于构造免疫背向散射的鲁棒边界态;非厄米理论可用于构造奇异简并态,提高探测器灵敏度。三个理论皆可在原理层面改善电磁器件特性;然而,三者的交集尚无统一框架以资后续讨论。因此,本论文结合三者,在各个维度开展相关研究,包括:在一维系统中,基于麦克
学位
<正>2001年至今,我刊已开展了二十二届中学生数学论文竞赛,得到了广大中学师生的广泛关注,参赛论文中不乏优秀之作,部分获奖论文已在我刊“学生论坛”栏目刊出。《普通高中数学课程标准(2017年版2020年修订)》在“教学与评价建议”中指出:“可以把学生完成的研究报告或者小论文以及各方评价存入学生个人档案,为大学招生提供参考。”为了反映学生的学习成果,鼓励学生的创新意识,支持中学生数学论文写作这一活
期刊
固体物质的理化性质一方面与其化学结构直接相关,另一方面也受分子的构象、堆积方式等因素影响。同一个化合物可能以多种不同的固体形式存在,如多晶型、无定型、盐型和共晶等。分子在不同的固体形式中构象或堆积方式的差异会显著影响固体物质的理化性质,如熔点、引湿性、溶解度、溶出性能、稳定性等。基于晶体工程策略调控固体物质的理化性质已广泛应用于各个领域,尤其是在药学领域。通过改变和设计药物分子的固体形式,能够在不
学位
蛋白多肽类降糖药物如胰岛素、胰高血糖素样肽-1(Glucagon-like peptide-1,GLP-1)通过口服途径给药是当前药物递送载体研究的一个热点。尽管已有首个口服制剂——索马鲁肽片剂(Rybelsus)被FDA批准上市,大多数处于临床前或临床试验中的蛋白多肽类降糖药物口服制剂研究却进展缓慢。对于蛋白多肽类降糖药物口服递送载体,目前主要存在两大关键问题。一方面是如何高效克服吸收屏障提高药
学位
目的:研究吴门医派正骨手法联合贴胸外固定或可塑纸夹板固定治疗高龄外展型肱骨近端骨折的临床疗效。方法:选取2019年1月—2021年12月于我院骨伤科门诊就诊的40例高龄肱骨近端外展型骨折患者,根据就诊时间及骨折粉碎程度,随机分为两组,经吴门医派正骨手法整复后,一组采用贴胸外固定治疗(称为贴胸固定组),另一组予以可塑纸夹板固定(称为夹板固定组),每组20例,对比治疗效果。结果:治疗1周后,两组疼痛程
期刊
基于长壁开采切顶短壁梁理论及其110工法,取消区段煤柱,通过切顶促进覆岩冒落,增大岩石的碎胀系数,填充采空区,减小地表下沉,通过现场观测、归纳分析,对沙曲一矿厚煤层4502工作面110工法和4306工作面传统121工法的地表裂缝分布进行观测比对,验证了110工法可减少台阶下沉,减轻地表变形和对地面构筑物的影响,可供相似条件下开采参考。
期刊
癌症是当今世界第二大死亡原因,给社会带来沉重负担。癌症的治疗虽然一直是医学上的难题,但近几十年来随着生命科学技术的进展,癌症的手术治疗和药物治疗都取得了显著进展,特别是药物治疗方面,从传统的细胞毒类药物,逐步向分子靶向药物、免疫治疗和细胞治疗方向发展,病人的治疗效果获得提升,生存期延长。值得一提的是,近十多年的肿瘤免疫治疗快速发展,给病人带来了新的希望。然而,肿瘤免疫治疗如免疫检查点抑制剂等,仅对
学位
为研究碳纤维(Cf)加入量对复合材料性能的影响,本研究以Y2O3为烧结助剂,采用热压烧结技术制备了Cf/Si3N4复合材料,其中碳纤维加入量为0、2wt%和5wt%。选用乙醇作分散介质,通过球磨工艺可有效分散短切碳纤维。研究结果表明:碳纤维在复合材料中分散均匀,且材料中的晶粒在垂直于热压压力的方向呈现一定取向排列。高温烧结过程中,碳纤维与Si3N4或其表面的SiO2层发生反应,生成SiC中间层。适
期刊
金属氧化物半导体场效应晶体管(metal-oxide-semiconductor fieldeffect transistor,MOSFET)工艺已进入超微缩尺度时代。器件的开路电流、功耗和短沟道效应之间需要进行权衡,改善器件性能成为挑战性问题。然而上述指标是多个维度的函数,难以进行解耦和独立优化。因此,为了满足下一代技术节点的需求,需要在优化器件设计和提升性能方面进行深入研究。本论文主要在量子水
学位