【摘 要】
:
深度学习(deep learning)这一概念起源于对经典人工神经网络的研究,是机器学习中一种基于对数据进行表征学习的方法,并且积极地推动了人工智能的发展。深度学习旨在发现数据的分布式特征表示,它通过组合底层特征来形成更抽象的高层特征,其动机在于模拟人脑进行分析学习的神经网络并解释数据。卷积神经网络(Convolutional Neural Networks,CNN)是深度学习的代表算法之一,它包
论文部分内容阅读
深度学习(deep learning)这一概念起源于对经典人工神经网络的研究,是机器学习中一种基于对数据进行表征学习的方法,并且积极地推动了人工智能的发展。深度学习旨在发现数据的分布式特征表示,它通过组合底层特征来形成更抽象的高层特征,其动机在于模拟人脑进行分析学习的神经网络并解释数据。卷积神经网络(Convolutional Neural Networks,CNN)是深度学习的代表算法之一,它包含丰富的卷积计算并且是一类具有深度结构的前馈神经网络。在卷积神经网络中,通常需要用到一个函数来实现对输入特征进行非线性映射的作用,把这个具有重要作用的函数统称为激活函数。本文基于Tensorflow学习框架对神经网络激活函数及深度学习进行研究与讨论。目前双曲正切函数Tanh和Sigmoid函数是神经网络模型中常用激活函数,在零点附近区域函数值增长较快,而远离零点处函数值增长较慢,这样的函数形式符合神经细胞接受刺激时的激活和抑制状态,在早期研究中应用较多。然而当输入非常大或者非常小时,神经元的梯度就接近于零,在应用误差反向传播算法时权值无法很好地更新,这也是早期神经网络无法深度化的原因之一。因此,本文提出新的激活函数,旨在深度学习网络的收敛性上有所提升。本文在已有激活函数的基础上构造一个含有参数的光滑激活函数用于深度学习神经网络,并实现参数的自适应调整,针对不同的数据集和网络结构,基于反向误差传播算法建立参数的在线修正公式,使其具有普适性。并与一些常用的激活函数如ReLU、Leaky_ReLU,Sigmoid等进行对比实验可以得出,本文提出的新型激活函数在不同数据集上对图像处理的准确率上有明显的提升,并解决了在训练过程中产生的梯度弥散,不光滑,过拟合等问题。为验证本文提出新函数的普适应,在多个数据集以及其他深度卷积神经网络上均进行数值实验,与其他多种激活函数相比,收敛精度有明显提升。
其他文献
能源对人类社会的发展起着重要作用,同时也影响和制约着国家综合实力的发展。然而科学技术和工业化的迅速发展,带来的是日益增大的能源需求,迄今为止,地球上所有国家的日常能
神经网络是一种处理信息和数据的非线性模型,且其在智能机器人,图像处理,并行计算,金融,优化问题等诸多领域有着巨大的潜在应用.这些应用的实现常常需求神经网络具备某些动力学性质.在信息处理的过程中,放大器具有着有限的开关速度,于是时滞成为神经网络中需要考虑的因素之一,并且它会引发网络的扰动,不稳定,发散等不良现象.比例时滞是一类重要的无界时滞,带比例时滞的神经网络的优势是能依据网络准许的时滞范围去控制
清华大学始于民国也盛于民国,自1928年正式更名清华大学后,短短几年间,为中国培养出了许许多多的杰出人才。文化昆仑钱钟书、明史研究开拓者吴晗、气象学家叶笃正、核物理学家邓稼先等等,这些人才虽分布于各行各业,但是他们都拥有勇于开拓、一往无前的探究精神和探究能力。大学课堂是发展学生探究精神,培养探究能力的重要场所。翻阅有关民国时期清华大学的课堂教学史料,我们可以看到学子们对知识的渴望,感受到学生积极思
面向汽车的产品评论是指用户在微博、论坛、微信公众号等平台发表自己对汽车的价格、性能、动力、外观等方面的主观使用感受。在汽车评论中,用户评论产品时经常带有明确的指向,往往针对特定产品的某一部分或某一功能做出具体评价。因此,挖掘汽车产品评论中的汽车名称及属性,对于汽车厂商和消费者具有重要的商业价值。本文将汽车名称和属性统称为产品对象,这样,抽取评论中的产品对象也是产品评论分析的基本任务,更是细粒度情感
小学体育课程不仅可以锻炼学生的身体素质,而且可以提高学生的体育意识。在体育教学中,教师需要针对学生的特点,并采用娱乐性的方式让学生体验体育的学习。在此基础上,让学生
考场作文,结尾的重要性和开头可以说同等重要,一个好的结尾往往能够给阅卷老师以深刻的印象,从而获得不错的分数。但是,很多学生对于如何结尾并不擅长,往往只能"草草收场",画
本文以月潭水库上游河道的水质和底泥为主要检测和研究对象,开展了重金属元素的综合污染检测和研究。本文沿月潭水库上游至下游布置了57个采样点,对上游水质和河道底泥中的Cr
随着化石能源的减少和环境污染的加剧,生产清洁燃料和开发低成本,可持续和高效的新能源来替代化石燃料迫在眉睫。电解水析氢反应(HER)在制取氢气中起着至关重要的作用。同时,
随着大规模网络的兴起,网络挖掘成为数据挖掘的一个重要子领域。在网络挖掘中,网络节点的特征表示至关重要。传统基于邻接矩阵的网络节点表示方法因为高维度和稀疏性等问题,给大规模网络的处理与分析带来严峻挑战。寻找网络的低维有效表示,对于解决现实大规模网络中的实际应用问题具有重要的意义。网络表示学习旨在将网络中的节点映射到一个低维、连续实值的语义空间,使得具有较大相似度的节点具有相似的向量表示。网络表示学习
混流泵是一种介于离心泵与轴流泵之间的泵型,兼具两者的优点,除了扬程高、流量大和高效区宽,而且结构紧凑、对驼峰现象有较好的改善,在众多领域得到了越来越广泛的应用。混流