基于多线程架构的卷积神经网络加速器研究

来源 :中国科学院大学(中国科学院深圳先进技术研究院) | 被引量 : 2次 | 上传用户:njg916
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,与传统的机器学习相比,具有更多隐含层的卷积神经网络具有更复杂的网络结构和更强的特征学习以及特征表达能力。自从引入卷积神经网络以来,它在计算机视觉、语音识别以及自然语言处理领域取得了显著的成果。为了增强卷积神经网络的准确率,越来越深的网络结构被设计出来,但是随之而来的是参数量和计算量的急剧增加,这导致CPU、GPU等通用计算平台面临性能、能效挑战。为了解决性能以及能效的问题,针对于卷积神经网络的专用加速器越来越成为研究的热点。然而现在的卷积神经网络加速器还存在问题。在硬件层面,现代的卷积神经网络加速器主要通过提高运行频率与增加计算单元个数来提升算力,其已经面临诸如计算单元利用率低下以及可扩展性差等问题。在软件层面,很多卷积神经网络加速器还在加速一些低效率的卷积神经网络比如AlexNet与VGG16,由于对计算资源和存储资源的大量需求,这些卷积神经网络已经被更先进的计算机视觉应用抛弃。针对于上述的硬件问题,本文提出一种可灵活配置、动态扩展的多线程架构,并针对多线程架构设计全新的访存模式。针对于软件问题,本文将MobileNet这一紧凑型卷积神经网络作为目标网络之一。本文的主要工作如下:1.本文通过分析卷积神经网络的计算模式,提出一种数据流可重构的计算模块。该模块可通过指令进行数据流、计算单元以及存储的动态配置,支持常规卷积层、激活层、池化层、深度卷积层、点卷积层以及全连接层这六种计算模式。2.本文提出一种针对于卷积神经网络的多线程架构,可实现滑动窗口与输出通道两个维度的并行计算。该架构将计算单元阵列抽象成线程,每个线程处理一个滑动窗口。线程内部实现多个输出维度的并行计算,线程之间实现滑动窗口的并行计算。同时该架构线程内部特征图共享,线程之间权重共享,减少了对于片上内存以及访存带宽的需求。3.在多线程架构的基础上,本文提出一种行访存模式,可减少加速器访存次数。经试验得出,以LeNet为目标网络时,使用该访存模式可以获得1.6倍的加速比。同时该架构具备良好的动态扩展性,32线程与4线程相比,可获得3.83倍的加速比。未获得线性加速比的原因在于,线程数目的增加只能线性加速计算过程,无法线性加速访存过程。与同类设计相比,该架构的吞吐量和能量效率分别为1.28倍和2.82倍。4.本文提出的加速器支持MobileNet独有的深度卷积层和点卷积层,同时进行批归一化层和点卷积层的融合。经试验得出,以MobileNet为目标网络时,该架构具有良好的动态扩展性,32线程与4线程相比,可获得3.58倍的加速比。未获得线性加速比的原因同上。与同类设计相比,该架构的吞吐量和能量效率分别为3.61倍和1.16倍。
其他文献
蚂蚁是最古老的社会昆虫,它的起源可追溯到一亿年前,大约与恐龙同一时代。蚂蚁不仅常见而且种类繁多,全球约有9000种,估计应有12000-15000种,其中我国至少有600种以上,同时其
本文从协调“私域信息资源”私人所有和社会化利用需求之间矛盾的视角出发,界定了私域信息资源公益性开发的概念,分析了私域信息资源公益性开发的理念,构建了私域信息资源公益性
[目的/意义]外部奖惩缺位时,学术社区成员自觉进行知识贡献行为有待研究。[方法/过程]通过建立复制者动态方程,解释了在有限理性的学术虚拟社区知识贡献活动中,规范内化者和
文章根据h指数的思想,提出了一种考虑分年被引频次的类h指数,即年度h指数,可以对单篇论文或学者进行学术影响力评价,通过SPSS23对2万多篇论文及800多位学者的年度h指数进行实
翻转课堂教学模式是指把“教师白天在教室上课,学生晚上回家做作业”的传统的教学结构颠倒安排,让学习者在课外时间完成针对知识点和概念的自主学习,课堂变成教师和学生的互动场所,通过解答疑惑合作讨论等策略促进知识内化的教学模式。本文在已有研究成果的基础上,把翻转课堂教学模式与初中思想政治课教学相结合,依据互联网信息技术基础和教育教学的相关理论,阐述了翻转课堂的概念、内涵和表现方式等相关理论,并对翻转课堂教
杜邦公司(DuP0ntCo.)宣布,正在考虑分拆或出售生产二氧化钛颜料和特氟龙(Tenon)涂料的高效能化学品事业,试图把重心放在周期性较低的产品上。
为了明确影响四川盆地震旦系碳酸盐岩储层水平井改造效果的关键因素,同时建立一套适合本区的强非均质储层水平井分段酸压方法,采用信息量和灰关联分析手段,对30口气井地震、
从具有抗菌、止痒、修复等功效的植物中药中进行了大量的筛选,以中医学的“君臣佐使”的组方思想选定了抗菌止痒植物中药复方。将此复方的植物中药提取物水溶液与粘胶纤维纺丝液共混纺丝,纺制了具有抗菌止痒功能的粘胶纤维,并对其基本性能和抗菌止痒功能进行了测试和分析评价。首先,筛选并组合了A、B、C三种复方,通过对致痒因子的抑制效果判定三种复方的止痒效果,得出A复方和B复方的抑制效果均好于C复方。其次,分别称取
对某印染集中污水处理厂调节池出水进行强化混凝,探究Al2(SO4)3、PFS、FeCl3、PAC、FeSO4和MgCl2等混凝剂对不同相对分子质量的溶解性有机污染物(DOM)的混凝去除机制,以改善印染
安徽某铜硫矿现场选矿工艺为"铜硫等可浮出快铜-中矿再磨-铜硫分离",得到的硫精矿产品品位不够理想,仅为41.43%,离要求的48%差距较大。针对这一情况,本文开展了选矿工艺试验