嵌入式图像处理卷积神经网络硬件加速电路研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lijingmeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的发展,卷积神经网络相比于传统算法,在图像分类、目标检测、语音识别等领域性能上取得了大幅提升,然而庞大的参数量和计算量使得卷积神经网络在资源有限的嵌入式场景中的应用受限。本文提出了可配置的卷积神经网络专用硬件电路,作为面向嵌入式图像处理场景的图像协处理器(Image Process Coprocessing Unit,IPCU)芯片的重要部件,可在资源受限条件下实现卷积神经网络实时推理运算,达到了较高能效比。本文在分析嵌入式应用中数据处理需求和数据流特点的基础上,提出了低资源开销的可配置卷积神经网络加速电路。其特点包括:支持自定义的网络结构和数据流配置加速指令;资源受限条件下的高效数据传输和缓存机制;基于Winograd快速算法的低资源开销卷积实现方案。针对设计的卷积神经网络加速电路,本文进一步提出了轻量化网络设计方法及部署工具。针对加速电路有限资源来设计参数量和运算量小的轻量网络,将网络浮点模型通过量化感知训练,以较小的精度损失量化至定点模型,并设计了相应转换工具,将定点模型转换为可部署至IPCU中卷积神经网络加速电路的配置文件,为芯片落地应用提供了有效支持。最后,本文以某智能成像项目为应用背景,设计了气动传输效应模糊核参数估计网络,以该网络作为实施实例部署至加速电路实现,利用网络估计参数复原图像取得了较好的效果,验证了本文提出的卷积神经网络加速电路及其部署方法的有效性。本文提出的卷积神经网络加速电路在中芯国际65nm工艺下实现的面积为2.43mm~2,在电源电压1.2V,频率150MHz下,功耗仅为30.589m W,能效比高达176.5GMACS/W,与其它同工艺节点的神经网络加速器相比取得了1.3~2.2倍的能效提升。IPCU芯片已于2021年10月提交流片。
其他文献
近些年,随着信息技术的快速发展,物联网、自动驾驶以及元宇宙等概念的兴起,电子器件消耗全球能源资源的比例逐年增加,迫切需要一种能够满足降低电子器件功耗需求的多功能材料。多铁材料由于能够同时存在铁电性、铁磁性和铁弹性中两个或多个铁性序参量,被认为是最理想的多功能材料之一。基于应变调控的多铁复合结构在常温下具备显著的磁电耦合效应,在可穿戴柔性设备与信息存储计算等领域中有着广阔的应用前景,为物联网的发展提
学位
自旋电子学器件在信息存储、逻辑计算、新型神经网络等方面具有突出应用前景。近十年来,重金属/铁磁(HM/FM)多层薄膜的自旋电子效应受到广泛关注。当HM/FM/HM多层膜中FM层上下表面结构非对称时,HM/FM界面处会产生界面Dzyaloshinskii–Moriya作用(DMI),对磁畴壁运动产生重要影响。一般认为,厚度方向满足反演对称的HM/FM/HM多层膜不存在界面DMI,畴壁速度对外加面内纵
学位
随着电力电子技术的发展,半导体功率器件逐渐朝向高频化的方向不断突破,GaN功率器件具有高频率、高功率、低功耗等特性,具有硅基功率器件不具备的优势,得到了广泛应用。然而高频开关过程中的电磁干扰(Electro Magnetic Interference,EMI)会对系统产生严重的影响,另一方面,高速开关也使得开关损耗成为总体损耗中不可忽略的一部分。如何在极短的开关时间内实时调整驱动电流,在抑制电磁干
学位
物联网的发展催生多种新型应用,其中无线微型传感器是应用最为广泛的物联网核心器件,而能量采集供电是此类器件增长续航能力的可行解决方案之一。电压基准源作为模拟电路的关键模块,能量采集供电对其提出了纳瓦级功耗的性能要求。本课题聚焦研究面向能量采集传感器的纳瓦级低电压基准源设计。本文对纳瓦级低电压基准源文献进行调研,发现现有亚阈值CMOS电压基准源因受到漏端引入势垒降低效应(Drain Induced B
学位
心血管疾病作为健康的头号杀手,发病时具有较高的隐蔽性。在临床医学上,心电图(Electrocardiogram,ECG)作为心血管疾病中心律失常检测与诊断的主要依据,对其进行自动分类可以减轻医疗工作者的压力,应用于可穿戴设备上能协助患者实时监测自己的心脏状态。近年来,卷积神经网络(Convolutional Neural Network,CNN)逐渐取代传统分类方法成为主流,在ECG自动分类方面,
学位
自主水下航行器通过编队协作方式可突破单航行器在环境感知、信息决策和任务执行等方面受到的限制,极大提升系统性能。然而海洋环境复杂,水下导航、控制、通信能力受限,通过设计合理有效的编队航路可以降低控制过程的复杂度,减少航行器间通讯的信息量,提高编队任务的成功率。针对编队航路规划问题,提出柔性编队航路规划算法。设计跟踪控制器,进行编队航行控制仿真。首先对复杂的海洋环境和航路规划空间进行分析建模,并根据编
学位
我国制造业在以集成电路为代表的复杂3C零部件的机器人高速高精装配领域面临着严峻挑战,存在着3C零部件结构复杂、易于损坏,装配流水线空间狭小、工况复杂的问题,机器人掌握敏捷、柔性和精益制造操作技能的需求日益迫切,设计特定于任务的控制器成为了一种低效且繁琐的解决方案,因此,亟需发展新的、灵活通用的控制方法。针对此问题,本文以JLRB20型机器人为研究对象,以装配CPU为任务,设计了面向服务器装配的机器
学位
负重行走时的额外载荷会改变行走步态,使人体代谢消耗增加,甚至产生关节和肌肉损伤。为拓展人体负重运动能力并降低肢体骨骼损伤,开发降低行走代谢消耗的悬浮背包系统已成为可穿戴机器人领域的一个重要研究方向。尽管悬浮背包系统已得到广泛研究并已涌现出大量研究成果,但仍然面临诸多挑战。如大负荷负重行走时肩部负载力高,被动式悬浮背包难以实现最优的代谢消耗目标等。针对这些挑战性问题,本文设计了一种可变参数的负载转移
学位
手在一系列基本的日常活动中至关重要,妨碍手功能的神经系统疾病或意外截肢会显著影响生活质量。可穿戴手势识别接口有望恢复和辅助手部功能,增强人与人之间的沟通,是人机交互、康复医疗、假肢控制、手语识别等领域的重要研究方向。设计分类能力强、学习快的模式识别算法是手势识别接口应用和产业化的关键;鲁棒性强、信噪比高的高质量信源是手势识别质量的保障,二者同时也是该领域面临的重要挑战。针对上述挑战,本文对于气压肌
学位
利用GmAPD(Geiger Mode Avalanche Photo Diode)阵列激光雷达探测器对远距离建筑物目标进行三维成像并识别在机器视觉以及武器制导等方面具有重要研究意义。但目前GmAPD阵列激光雷达探测器存在数据获取困难、数据噪声强以及目标三维特征描述困难等问题。本文围绕上述问题,研究了GmAPD阵列激光雷达探测器模型仿真算法以及远距离建筑物三维目标识别和追踪算法。论文主要研究如下:
学位