近似卷积神经网络加速器设计与评估

来源 :东南大学 | 被引量 : 0次 | 上传用户:helen527
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于卷积神经网络具有一定容错性,近年来近似计算开始被应用在卷积神经网络加速器的设计中,以一定的计算误差换取功耗降低。这些近似技术可以在算法、架构和电路等多个层次实现,设计人员需要对加速器进行快速评估,选择合适的设计策略。目前寄存器传输级(Register Transaction Level,RTL)或门级的性能功耗评估工具虽然有较高的精度,但综合和仿真耗时较长,难以满足快速设计探索的需求。本文将多种近似技术结合应用在卷积神经网络加速器的设计中。首先在算法上对网络参数进行量化,降低加速器的存储需求和访存功耗。其次,使用近似运算单元替代精确计算降低加速器的计算功耗,并将计算误差引入网络的训练过程降低使用近似计算单元带来的分类精度损失。最后,结合网络中的稀疏性,跳过数值较小的输入特征与权重间的乘法计算进一步降低动态功耗。为了快速评估卷积神经网络加速器使用不同近似配置的性能功耗,本文设计实现了行为级的pre-RTL模拟器。用户仅需输入描述网络的C代码和硬件配置文件,模拟器将代码的指令流转换为动态数据依赖图来表示加速器的硬件行为,通过图结构中边和节点的变换来模拟不同架构和近似设计策略,并通过图结构的调度获得周期级的硬件性能分析,结合基于门级电路仿真构建的基本硬件单元功耗模型库计算加速器的功耗。本文基于LeNet设计了近似卷积神经加速器,在pre-RTL模拟器中评估显示网络量化、乘法器近似和计算跳过的结合使用能够使该加速器在保证分类精度损失小于0.5%的同时降低32.1%的功耗。本文还搭建了加速器的硬件电路,对比门级仿真与模拟器分析结果,模拟器能够产生准确的性能估计,在不同近似配置下功耗估计的平均相对误差小于10%,能够满足快速设计评估的需求。本文完成了近似卷积神经网络加速器的设计并通过pre-RTL模拟器对加速器设计进行快速的评估,验证了近似技术的结合使用降低功耗的有效性。此外,本文的性能功耗评估方法灵活可扩展,不仅适用于近似神经网络加速器的分析,未来可以推广至更多不同算法和近似技术并进行验证。
其他文献
研究生学位授予,是高校学位与研究生教育工作的重要组成部分。高校根据国家法律规定授予研究生学位,是对研究生在校学习成绩的肯定,研究生凭学位证向用人单位证明自己的学习能力和学术水平。研究生学位授予质量,是学位与研究生教育质量的重要组成部分。随着专业学位硕士研究生教育的发展,专业硕士学位授予质量备受关注。比较而言,一流大学专业硕士学位授予质量,具有示范性和引领性。因此,对一流大学开展专业硕士学位授予质量
在中国古代绘画中,以花瓶和瓶内插花相结合为主体的瓶花画占据了一定的数量。在汉代的画像石中已有瓶花的形象出现,宋代出现了多幅有图像资料的以瓶花为主体的画作,在元明时期此类画作的数量不断增加。到了清代,由于宫廷内十分流行以岁朝清供图作为新春的装饰挂画,清代的瓶花画数量大量增长。虽然清代宫廷内绘制瓶花画的画家人数众多、身份多样,但其画作中是存在许多共同特征的。清代宫廷瓶花画中的插花造型有规定的审美标准,
社交焦虑是大学生人际交往中普遍存在的一种心理问题和困扰,一直以来也是高校心理健康工作中的重要议题。社交焦虑不利于大学生的身心健康发展,会影响其正常的心理和社会功能发挥。以往研究关注了家庭氛围、学校经历等现实环境因素对社交焦虑的影响,关注网络虚拟环境对社交焦虑影响的研究较少。随着网络技术的发展,社交网站成为大学生日常人际交往中不可或缺的一部分。本文使用问卷法探究社交网站使用对大学生社交焦虑的影响,以
年级是影响初中生心理健康的重要因素,但是关于年级如何具体影响初中生心理健康的机制却缺乏理论解释和检验。本文将人际关系、学业压力作为年级影响初中生心理健康的中间机制,通过“中国教育追踪调查(CEPS)”数据,探索其对于年级影响初中生心理健康的中介作用及二者效应强度的对比。研究发现:初中生整体心理健康状况较好,学生可能出现的心理问题依次是不快乐、沮丧、悲伤、抑郁和生活无趣。学生学业压力普遍较大,主观学
近年来,我国随着产业转移步伐加快,“用工荒”问题也从长三角、珠三角向中小城市蔓延,帮助企业解决用工难题成为地方政府服务企业发展、优化营商环境的重要内容,各地投入了大量的人力、物力、财力,通过多种方式,在解决用工难题上取得了一定的成效。但仍然存在政府补贴较大、企业缺工时有发生、结构性缺工长期存在、劳动者融入城市难等问题。文章在研读国内外研究成果的基础上,首先从理论和实践两个方面分析了政府在企业用工中
风力机(Wind Turbine)是风力发电系统的核心装备。作为复杂机电一体化产品,风力机需要长年工作在野外环境中,可靠性是此类产品重要的性能指标。此外,风电场通常位于偏远地域,备件运输和维修保障困难。风力机一旦发生故障将会造成巨额的维修成本和停机损失。上述特点对风力机的维修和质保提出了很高要求。风力机预期寿命长达20年,基本质保(Basic Warranty,BW)期仅有3-5年。因此,在基本质
摩擦损耗不仅消耗了大量的资源,而且致使大部分的机械零部件毁坏和替换。如果能够有效地减少摩擦磨损现象的发生,那么对于提高能源利用效率和降低设备维护和替换的成本都具有重要意义。本文首先基于雷诺方程,通过数值分析的方法系统研究不同尺寸和底部形貌微织构对动压润滑性能和摩擦性能的影响,进而优化得出最优尺寸和底部形貌的微织构。在此基础上,借助Fluent仿真软件模拟液滴在微织构材料表面的铺展情况,研究微织构改
环保部与国土资源部联合公布的《全国土壤污染状况调查公报》(2014.4.17)显示,全国耕地土壤点位超标率高达19.4%,其中以镉污染最为严重,样点超标率达到7.0%。植物修复一般认为是一种低投入技术,随着植物修复技术应用的普及,修复后大量植物收获物的安全处置和资源化利用成为难题。修复植物热解制备生物炭技术具有占地面积小、减容率高等优点,正得到广泛关注。生物炭钝化修复重金属污染农田土壤,因周期相对
焦虑症和抑郁症是广泛存在的情感障碍性疾病,严重的焦虑和抑郁会诱发自杀企图或自杀行为,社会危害性极其严重。氟西汀(Fluoxetine,FLX)作为选择性5-羟色胺再摄取抑制剂(Selective serotonin reuptake inhibitors,SSRIs)的代表,在焦虑症和抑郁症的临床治疗中获得了广泛应用。其通过抑制突触前5-羟色胺转运体(serotonin reuptake tran
研究背景:乙型肝炎病毒(HBV)感染是我国严重的公共卫生问题,它可以从急性感染发展到慢性肝炎、肝硬化、甚至肝细胞癌。抗病毒治疗是慢性乙肝的最根本疗法,核苷酸类似物(NAs)是当前的最主要药物,但只能抑制HBV复制,无法彻底清除HBV,导致慢性乙肝患者停药后经常复发。HBV感染诱发肝炎的主要病理机制是机体免疫反应所致。机体不同强度的免疫应答与HBV的清除、肝炎的发生以及疾病预后等密切相关,其中HBV