利用COStream实现全连接和卷积神经网络的并行计算

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:gggmtdh2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络是人工智能领域一直以来的研究热点,神经网络的一大缺点就是反复迭代带来的巨大运算量,加快神经网络模型训练的速度能节省大量训练时间。COStream数据流编程模型是数据驱动的并行执行模型,利用COStream实现神经网络模型的并行化对于提高其训练速度有着很好的实际意义。针对神经网络运算量大的问题,利用COStream数据流编程模型提供的并行化方式,结合神经网络模型中存在的数据并行和流水线并行的特性,设计并实现了基于COStream的三层全连接神经网络并行模型和LeNet-5卷积神经网络并行模型。三层全连接神经网络模型将每层节点的运算封装在COStream的composite中,通过splitjoin结构扩展成该层的各个节点,各层间用pipeline流水线连接。LeNet-5卷积神经网络模型是在多层卷积及池化后连接多层全连接层,其中卷积层用双层splitjoin结构嵌套扩展不同卷积核组和组内不同通道上的卷积核的卷积运算达到数据并行效果,卷积层、池化层和全连接层间同样用pipeline连接进行流水线并行处理。由于COStream采用的是分阶段的流水线调度,对于神经网络这类迭代过程中有数据依赖的运算模型,存在参数与数据批数不一致的问题,对此设计了组内同步组间异步的分组调度方法进行解决。实验以X86-64架构多核处理器为目标平台,对三层全连接神经网络模型和LeNet-5卷积神经网络模型并行程序在不同核数下的执行效果进行测试。实验结果表明了COStream对加速神经网络模型训练的有效性。
其他文献
学位
流感疫苗对公民的身体健康意义重大,然而由于流感疫苗独特的生产技术和不稳定的接种需求,造成流感疫苗供需不匹配的情况反复发生,导致流感疫苗供应链较大的经济损失。因此,探
发生煤矿灾难后的矿井环境是一个复杂的非结构化环境,充斥着各种有毒、易爆气体,很容易发生二次灾害,不适于救援人员深入井下开展搜救任务,需要使用机器人代替救援人员进入灾难现场完成井下的环境勘探和辅助营救等任务。针对该问题,本文设计了一款用于井下环境勘探的携带清障机械手的履带式煤矿机器人,首先对完整的机器人系统展开详细的说明,然后针对机器人的井下安全行走控制展开研究,主要研究内容如下:首先,为保证煤矿机
在工程伪装的研究中,伪装的效能评价是一项重要的工作,这将有效的帮助研究人员客观的了解伪装的效果并加以改进提高。在工程伪装设计中,如何投入较少的经费获得最好的伪装效
会议
本文针对运动相关性脑震荡现场检测方法成本高、操作复杂、存在人为因素影响等问题,设计并验证了基于两台体感传感器的平衡误差评分系统,实现了非接触式、自动的现场脑震荡检测功能。论文针对单台传感器在骨架跟踪过程中出现的遮挡、视角限制、振荡等问题,提出了采用两台传感器的检测方案,并对两台传感器的摆放位置进行建模,分析了摆放角度与摆放距离对有效工作范围的影响;通过空间坐标系转换原理将两台传感器分别采集到的骨骼
孤岛微电网系统中,频率的动静态性能是系统可靠稳定运行的重要保障,通常采用基于底层逆变器的一次调频控制和基于中央控制器(MGCC)的二次调频控制相结合的方法来维持系统的频
场景分类在图像理解和计算机视觉中是一个开放的挑战性问题。有效的图像表示在场景分类任务中日益受到关注。该文旨在于通过构建特征提取算法,形成更加丰富有效地图像描述,从而实现场景图像的高精度分类。首先,构建了基于多层次特征表示的图像场景分类算法。传统场景分类采用单一低层特征构建图像描述,无法有效表征内容多变的场景图像。因此提取采样图像块的密集尺度不变特征变换(Scale Invariant Featur
惯性导航技术是导航领域中不可或缺的重要分支,而捷联惯性导航依靠其结构简单,成本低廉,易于维护等特点始终是惯性导航技术中的研究热点。初始对准和捷联解算是捷联惯性导航的两个重要组成部分。捷联解算的性能决定系统跟踪载体实时姿态位置的精度和速度;初始对准为捷联解算提供初始数据,其对准速度和对准精度直接影响后续的解算性能。捷联惯导系统依靠数学模型和计算机技术解算载体姿态构建虚拟平台,因此需要对姿态矩阵进行数
随着人类对能源需求的加大,以及陆地能源的不可再生的特点,拓展能源空间已经迫在眉睫。海洋中具有丰富的资源,但水下环境复杂,对潜水人员的要求极高,依靠水下机器人进行作业
[研究背景与目的]肺癌的发病率和死亡率居全球恶性肿瘤首位,非小细胞肺癌(Non small cell lung cance,NSCLC)占肺癌的85%,腺癌是其中很重要的一种类型,易早期发生转移。大多