【摘 要】
：
卷积神经网络逐步成为人工智能应用的基础,然而网络参数量的增加,加大了其部署难度,限制了其应用范围。如何设计轻量化算法和快速低能耗硬件加速器成为研究热点。本文基于权重压缩算法,探究网络稀疏化和低位宽推断技术,提出一种使权重稀疏化且量化为幂次的轻量化算法,并采用Image Net数据集完成算法的验证。面向该算法,本文设计了一款基于移位的稀疏卷积神经网络加速器。针对稀疏网络权重少但运算不均衡的特性,对稀
论文部分内容阅读
卷积神经网络逐步成为人工智能应用的基础,然而网络参数量的增加,加大了其部署难度,限制了其应用范围。如何设计轻量化算法和快速低能耗硬件加速器成为研究热点。本文基于权重压缩算法,探究网络稀疏化和低位宽推断技术,提出一种使权重稀疏化且量化为幂次的轻量化算法,并采用Image Net数据集完成算法的验证。面向该算法,本文设计了一款基于移位的稀疏卷积神经网络加速器。针对稀疏网络权重少但运算不均衡的特性,对稀疏卷积神经网络建模,分析了不同数据替换策略和并行策略对加速器访存量和加速比的影响,提出了一种高处理单元利用率且低能耗的数据流。本文设计了权重压缩存储格式和索引单元以跳过无效运算;将乘法器替换为移位单元以降低运算单元功耗;支持分块卷积模式以平衡运算效率和通用性;针对内存墙问题,采用了乒乓缓存隐藏数据传输延迟;为了增强数据复用,提出了类脉动的处理单元互连方式。本文利用RTL对设计进行实现,完成综合和物理设计,并对设计的功耗和运算速度进行分析,将要基于TSMC 28nm工艺流片。本文提出的轻量化算法,使传统卷积神经网络模型权重数量降至原模型的28%,权重位宽降至原模型的25%。以复杂任务识别精度降低约1.4%为代价,大幅降低了访存需求。本文设计的硬件加速器等效性能为377.1GOPS,功耗为329.9m W,能效比达到1.14TOPS/W。本设计的处理单元利用率达到同类研究的3.1倍;访存功耗和系统能耗较低,能量延时积是同类先进研究的62.5%。
其他文献
随着移动设备与互联网的发展,图像数据的使用愈加普遍,对于图像数据进行提炼与表达,即对图像的特征学习也越来越受到人们的重视。对于图像任务,模型的表现很大程度上取决于特征的好坏,良好的特征使得模型更容易提取有效的信息。传统的特征提取方法往往需要手工提取且效果较差,基于深度学习的特征提取方法往往效果较好,但是特征的含义难以理解。目前大多数的特征学习模型采用有监督学习,而本文将使用无监督学习的方式研究如何
散射成像是一种将携带目标信息无序散斑通过后处理算法恢复散射介质后目标图像的技术,散射成像在大气成像、生物组织成像和水下成像等方向都有非常重要的应用前景。散射介质破坏了传统光学成像中的光子直线传播路径,光子的传播方向在散射介质中会被多次随机改变,探测器得到的数据是目标信号被随机改变后的散斑。不仅散射介质会影响成像,光的强弱也会影响成像过程。在弱光下,光信号更多呈现出光的粒子特性。传统的探测器无法应对
得益于深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）的发展,大量计算机视觉任务取得了传统算法难以达到的表现。但是,由于大量冗余特征的存在,这些基于DCNN的优秀模型会消耗大量有效的存储和计算资源,通常难以部署在资源受限的平台。如果我们能够用一组正交的特征来表示所有特征,则可以用一个轻量级小网络来代替复杂卷积神经网络,且不带来任何精度损失。因此,在
疾病是威胁人类健康的主要因素之一,其中糖尿病和胃癌是对中国人危害最大的两种非传染性疾病。有研究指出,经早期诊断后及时治疗,不仅能降低这些疾病带来的痛苦,还能增加治愈率和存活率。电化学是研究电现象和化学现象之间相互转化的科学,电化学生物传感器具有特异性好、重复率高、稳定性好、实验操作过程简单等优点,现已被广泛研究于生物医学工程领域中。而金属纳米材料大多具备良好的导电性,且易被化学或生物修饰处理,近年
随着互联网的高速发展,各种信息资源呈现井喷趋势,仅仅依靠搜索引擎已经难以为用户提供优质的信息服务。为了缓解信息过载问题,各大公司纷纷构建推荐系统,为用户提供精准的个性化推荐服务。在一些网站上,用户可以随意为喜欢的物品打上社会化标签,这些标签不仅可以反映用户的偏好和态度,也折射出物品的内在属性。因此,标签感知推荐系统将这些协同行为产生的社会化标签作为一种内容信息,为用户提供个性化的物品推荐。为了解决
跨年龄人脸识别作为通用人脸识别研究的细分方向之一,在金融、安防监控、智能手机应用等诸多领域都具有重要的应用价值。跨年龄人脸识别由于受到人脸皱纹随着时间变化而加深、颅骨形状改变等因素影响,比通用人脸识别任务难度更大,识别准确率也相对更低,并且由于跨年龄人脸识别研究较通用人脸识别而言起步晚,现有的方法也相对较少。鉴于此,本文针对跨年龄人脸识别问题展开更进一步的研究。首先,鉴于ResNet50网络模型在
随着信息技术的不断发展,人们对信息的安全性越来越重视,出现了软件和硬件两种主流的加密方式。软件加密由于其加密方式简单,并且不会破坏传输信号的性能,一直被广泛应用。但由于量子计算机的出现,计算机性能的不断提升,软件加密算法逐渐会在短时间内被暴力求解的方法破解。所以现在人们越来越关注硬件层面加密,混沌加密作为一种物理层加密方式,可以实现信号的高速长距离安全传输,和现有光通信系统兼容,获得了国内外持久的
随着移动互联网的高速发展,各种Android应用为手机上网带来了巨大便利。但是,由于Android系统的开源性也产生了许多恶意应用程序,对网络安全造成了严重威胁。此前,研究人员主要基于静态代码和动态行为对Android恶意应用进行识别与分类,这两种方法计算复杂度太高,没有得到良好的普及。由于恶意应用通过诸如僵尸网络等渠道执行恶意行为,因此可以通过分析恶意应用产生的网络流量对恶意应用进行分析检测。基
据IDC数据显示,2019年前两个季度全球智能手机累计出货量约6.4亿台。在如此庞大的出货量上,不允许在研发阶段漏掉任何一个应用崩溃、系统死机或重启等稳定性问题。稳定性是保障用户长时间流畅使用设备的核心需求。随着安卓系统更新频率逐步加快,手机制造商为了抢占市场不得不缩短研发周期。因此,如何在短暂研发周期内快速发现并解决稳定性问题,为用户提供更高品质的手机,成为各大厂商研究的重要课题。本文基于安卓系