基于Hadoop的深度学习并行计算研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:ltxiong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习技术的不断发展,以深度神经网络为代表的深度学习模型开始广泛地应用在图像识别,语音识别和自然语言处理等各个领域之中,并为它们提供较优的解决方案。与浅层网络不同,随着神经网络层数以及其中神经元数目的增加,深层模型往往能够描述更加复杂的函数变换,具有更强的学习能力和表达能力。尤其是它能通过观察数据进行自主学习,而不需要知道具体的解决问题的方法。但是,深层神经网络也往往比浅层神经网络更难训练。为了解决深层网络面临的计算资源和计算效率上的挑战,可采用并行计算的方式对其进行优化。本文分析了现有的一些在分布式环境下的神经网络并行计算模型,并针对其在实现策略上的不足,提出另一种基于卷积神经网络的深度学习并行算法。卷积神经网络采用“局部感受域”,“共享权重”,“池化”的思想对传统全连接的神经网络进行优化和改进,尤其在图像分类和图像识别这一类二维拓扑的学习问题中表现出色。传统意义上的卷积神经网络通常使用标准误差逆传播算法进行串行训练,随着数据规模的飞速增长,单机串行训练同样存在耗时长且占有较多的系统资源的问题。本文以手写数字的图像识别为应用场景,对卷积神经网络中的并行训练进行研究与实验分析。为有效实现海量数据的卷积神经网络并行训练,本文针对卷积神经网络提出一种基于MapReduce框架的误差逆传播并行化训练模型。该模型结合了标准误差逆传播算法和累积误差逆传播算法,采用数据并行的方式,将大数据集分割成若干个子集,在损失少量准确率的条件下进行并行化处理。同时,本文采用高斯弹性变形对MNIST数据集进行扩展,形成新的大数据集进行图像识别的测试。实验表明,该算法对数据规模有较好的适应性,在采用Hadoop分布式计算平台,并且选取了合适数目的分片的情况下,能够大大提高卷积神经网络的训练效率。
其他文献
京剧是中国的国剧,一直以来被视为中国国粹,位列于中国戏曲三鼎甲“榜首”。这一博大精深的艺术至今已有两百多年的历史,写意的舞台表演风格,程式化的舞台表演方式深受海内外观众朋友的喜爱与追求。在今天的京剧舞台上,传统京剧经典剧目、现代京剧经典剧目、新编京剧剧目轮番登台亮相,好戏连台。京剧在继承与发展中不断进行着新的探索与创新,力求为当今的京剧舞台注入新的时代感,让京剧可以拥有更广阔更长远的艺术天地。近几
图像深度指的是图像中的每个点(对应图像上的每个像素点)对应场景中点的深度,具体来说就是图像中估计每个像素到摄像机的远近关系。可以通过对预处理的二维图像进行分析与识别,估算场景中的物体在现实世界中的相对远近距离,图像深度信息广泛应用在各个领域,是近年来电子计算机专家和众多研究学者们关注的热点问题,具有广阔的商业前景。近几年来,随着图像深度信息技术的迅猛发展,图像已应用在众多的领域中,而从图像中能够精
压缩感知突破了奈奎斯特-香农(Nyquist-Shannon)采样定理的局限性,成为了信息处理领域新的支撑理论.压缩感知合并了信号的采样和压缩过程,从而大量减少了采样数据,节省了存储空
研究目的:基于岳阳二人民医院老年髋部骨折人群的术前等待时间的数据,来确定在并发症风险增加之前进行老年髋部骨折手术的最佳时间窗口,以及手术时间与预后的相关性。方法:收
常德渔鼓是一种历史悠久、魅力独特的传统民间曲艺,它上承唐代道情,经僧道俗讲、变文而定型,到宋代鼓子词、诸宫调变革后传入常德,与当地方言、民俗文化、民间小调融合而成。
在当前的初中物理教学过程当中,教具的短缺问题引起了老师们的注意。尽管通过资金的充实来满足教具等种类但是仍存在着初中物理教具无法贴合每一堂初中物理课教师的自我发挥
研究背景:慢性肾脏病(Chronic kidney disease,CKD)与甲状腺疾病及心血管疾病(Cardiovascular diseases,CVD)之间相互作用、相互影响,CKD患者常常患有亚临床型甲状腺功能减退
学习坚持性直接影响着高职生的学习成果和各种知识能力的获取,对于高职生将来进入社会后的发展有着重要影响。本研究我们通过高职生社会支持、学习动机和学习坚持性三者之间
语言的某些部分我们称作“名称”。但是,语言中的一切都是名称吗?这是科林·麦金2015年在《语言哲学—经典阐释》开篇提到的一个很关键的问题。维特根斯坦在《哲学研究》中称
模块化机器人由集成了电源、计算系统、传感器和执行器的模块构成,这些模块通常具有标准化的机械与电气接口,可以根据不同的任务需求进行自由组装。另外,还需要一个控制系统来确保模块化机器人的稳定和精确运动。本篇论文针对模块化机器人做了以下研究:(1)基于关节力矩感知的谐波传动式模块化机器人动力学模型建立对模块化机器人关节模块中的重要部件谐波传动装置的运动和力矩传输原理做了介绍,并建立了基于谐波传动装置柔性