基于片上网络的AI加速系统设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:chenchenyaya
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络作为AI算法中典型应用广泛应用于图像识别、物体检测、手势识别和自然语言处理等多个领域。在系统处理神经网络应用时,计算需求可达数十亿甚至百亿次。现有系统大多采用数据总线实现片外存储器与计算单元间的数据通信,系统的访存带宽低,难以满足处理神经网络应用过程中的通信需求,导致现有的神经网络加速系统性能提升遇到瓶颈。片上网络(Network-on-Chip,No C)将网络技术引入芯片设计中。基于片上网络的神经网络加速系统,通过数据重用的方式减少访问片外存储器的次数,缓解系统的访存压力,同时提高计算单元的工作并行性,加快系统的处理速度。基于片上网络的神经网络加速系统存在计算单元映射策略不合理和系统处理流程效率低等问题。如何优化计算单元映射策略并设计高效的系统处理流水线,成为基于片上网络的神经网络加速系统的研究关键。在计算单元映射策略方面,由于神经网络应用的处理过程具有较强的规律性,现有神经网络计算需求映射到片上网络架构时,数据传输使用信道单一,导致片上网络架构中部分通信资源不能充分利用。针对计算单元映射策略不合理的问题,本文设计了基于片上网络多通道并行化的神经网络加速方案(Multiple Channel Parallelization Acceleration Strategy,MCPAS)。该方案将多次卷积计算需求映射到同一组计算单元上,通过片上网络中不同的数据通道进行数据的并行传输,针对多次卷积计算导致数据处理需求的增加问题,设计了依据时隙处理不同数据通道传输数据的计算单元映射策略,减少数据通道及计算单元的闲置时间,增强了数据处理的并行化,提高了系统的处理速度。本文实现了基于FPGA的MCPAS加速方案演示验证原型,测试结果表明,在处理vggnet-16的推断过程中,使用加速方案MCPAS比传统软件方案和传统硬件方案的速度提高了430%和237%。在系统处理流程方面,当系统处理流程未流水线化时,片上网络中传输的数据分组包含的微片数量少,导致通信资源利用率低以及有效数据传输率低。针对系统处理流水线效率低的问题,本文设计了基于计算单元处理并行化的神经网络加速方案(Pipelined Transmission Computing unit Acceleration Strategy,PTCAS)。结合神经网络应用数据重用性强的特点,该方案利用流水线技术,使用由多个乘法计算单元构成计算簇,利用相同的输入图像数据,处理不同组卷积核的卷积计算,将计算簇中的计算结果组成数据分组进行传输,形成高效的多单元处理流水线,减少传输信道的闲置时间,提高有效数据传输率。仿真结果表明,使用加速方案PTCAS比传统硬件方案的处理速度提高了133%,结合MCPAS和PTCAS方案的加速系统比基于传统硬件方案的处理速度提高了357%,相比单独使用两种加速方案性能获得进一步的提升。
其他文献
建筑业是国民经济的支柱产业,在维持国民经济持续增长和促进生活水平不断提升的同时,也因其消耗大量的资源和能源以及产生大量的建筑废弃物而给生态环境带来巨大的压力。在建
基于生物特征的身份鉴别技术己被广泛应用于支付、边防、取证、存取控制等领域。由于虹膜具有唯一性、稳定性、大容量、防伪性、可非接触获取等特点,虹膜识别被认为是仅次于DNA识别的身份鉴别技术。对比指纹识别,虹膜识别更方便、具有更强的防伪性;对比近年热门的人脸识别,虹膜识别具有无可比拟的可靠性和和稳定性。因此,自上世纪90年代以来,虹膜识别系统应运而生。虹膜识别系统大都遵循Daugman提出的四步模型,即
现代工业生产中,单转子锤式破碎机是一种广泛应用的大型旋转机械,由于各种随机的因素,导致破碎物料过程中破碎机某些部分难免会发生冲击、磨损等故障现象,发展到后期可能会导致整个破碎机设备无法正常运转。转子作为破碎机的核心,其运行状态就显得至关重要。本文针对单转子锤式破碎机的故障诊断设计了一套从预处理、特征提取最后故障种类识别的算法,主要工作如下:(1)利用了ST-SVD的降噪处理算法并加以改进。针对转子
近年来,随着汽车数量日益增多,交通压力变得越来越大,同时交通安全问题也日渐增多,尤其是肇事逃逸、车辆套牌等违法行为时有发生。在交通监控系统中,交通警察通过各个道路卡口的监控设备可提取到车辆信息,并通过分析这些车辆信息便可对这些违法行为进行有效打击。其中,驾驶员人脸信息作为车辆信息中直接有效的特征信息,能够帮助交通警察更快地完成交通安全管理等方面的工作。因此,对驾驶员人脸进行检测从而获得其人脸特征信
颗粒增强铝、镁基复合材料具备较高的比强度、比刚度、良好的热稳定性和耐磨性这些优良的性能,在汽车和高速列车减重和轻量化上具有潜在的应用前景。国内外大量研究人员对此
社会的迅猛发展,对人类提出了全新的要求,同时给教育带来了全新的机遇与挑战。教育是国家和个人提高核心竞争力的重要途径,而作为起始阶段的义务教育,则显得尤为重要。由此,基础教育改革势在必行,小学变革亦成为必然。作为小学的灵魂人物,小学校长应该具备卓越的领导力已成为教育现实的必需。本文首先对小学校长领导力基本理论进行深入的梳理和研究,界定了领导力、小学校长领导力的内涵,总结了其特点,然后以银川市A区26
微胶囊技术具有将物质固定化并隔离外界环境的特性被广泛应用于医药、农业、食品和化工等领域。但是,由于传统微胶囊常以表面活性剂所稳定的乳液作为模板,由单一高分子聚合物
21世纪以来,随着我国社会综合经济实力的迅猛发展和整体国民生活水平质量显著性的提升,大气污染物的集中式排放在一定程度上超过了自然环境自身的负荷值。严重的大气污染不仅会阻碍社会经济的发展,也会影响人类身体的健康。因此,研究分析各项大气污染指标的时空分布情况及污染物的影响因子,并建立合理有效的大气环境评价模型,对于污染物整体的合理管控和有效改善当地大气环境质量显得尤为重要。本文以四川省21个市州201
近代东北地区处于一个战争四起、政局摇摆的时期,在这个时期无论是政治、经济、社会还是文化结构都发生了深层次的改变。近代辽宁中部地区公馆园林即形成于这样复杂的历史背景下。近代动荡的社会状况对辽宁中部地区公馆园林的营建产生了重大影响,形成了许多不同于传统的园林建造风格:一方面在继承了中式传统的园林造园手法;另一方面受西方文化影响,在设计中运用了西方的建筑和景观元素。无论是公馆园林的使用功能、园林形态还是
本文的研究内容是翻译硕士学员的口译焦虑原因及对策。焦虑情绪是当我们不能达到既定目标或克服其他心理障碍时,主观感受到的表现为紧张,忧虑或惊惧的一种心理状态。口译是双语之间信息转换的复杂过程,其带有的综合性,复杂性,即时性,及多重任务性等固有的特点使得口译工作必须在高度紧张的状态下快速完成,因而对译员提出了较高的心理抗压要求。同时也使他们,不论是口译学员还是职业译员,在口译过程中易于产生焦虑的情绪。国