基于CMA-ES算法的卷积神经网络研究及应用

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:nose88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的迅速发展,微信、微博等手机媒体应用也随之兴起,互联网用户可以便捷快速的上传或查看图片。但是,如今现实生活中,大量未标记的图像很难被搜索和处理到。同时一般的图像分类方法在这些图片上的分类和识别能力已经不尽人意,特别是在处理一些复杂的自然图像时,这些方法就显得捉襟见肘了。深度学习的出现,给图像分类识别提供了新的强大的方法。卷积神经网络(Convolutional Neural Network,简称CNN)是深度学习的一个重点研究内容,也是深度学习在图像处理方面应用最广的方法。训练CNN的方法中较为常见的是误差反向传播(Back Propagation,简称BP)算法,BP的核心是梯度下降算法,但是梯度下降算法容易落入局部极值,参数越多的神经网络越难找到全局最优。协方差矩阵自适应进化策略(Covariance Matrix Adaptive Evolution Strategy,简称CMA-ES)是一种优秀的智能算法,寻优性能好。论文利用CMA-ES算法优化CNN参数,缓解网络模型的局部最优情况。由于电脑硬件条件的限制,论文选取了网络结构相对简单的LeNet-5网络模型作为研究对象。论文主要阐述了使用CMA-ES算法优化卷积神经网络参数的方法,旨在提升CNN模型的精度,提出了CMA-ES-CNN算法。CMA-ES算法虽然寻优效果卓越,但是它数学表达式繁琐,计算复杂,参数繁多,这样必定会消耗很大的内存资源。为了减少其对内存资源的消耗,论文化简了CMA-ES算法,提出了简化协方差矩阵自适应进化策略算法(Simplify Covariance Matrix Adaptive Evolution Strategy,简称SCMA-ES),舍弃了两条进化路径中的一条,而且使用协方差矩阵的平方根取代了协方差矩阵本身,这样减少了算法的复杂度,降低了矩阵分解所占用的内存资源,使用SCMA-ES算法优化CNN参数,提出了SCMA-ES-CNN算法;最后比较SCMA-ES-CNN算法、CMA-ES-CNN算法和遗传算法(Genetic Algorithm,简称GA)卷积神经网络在MNIST(Mixed National Institute of Standards and Technology,简称MNIST)数据集上的性能表现;采集几个同学的手写数字作为一般数据集,比较SCMA-ES-CNN与CNN的正确率,验证改进算法的泛化性能。
其他文献
作为世界农业大国,中美两国农业在自然资源禀赋、生产组织形式和发展阶段上存在根本性差异。中国农业的生产率、成本控制和贸易竞争力都不及美国,农业劳动生产率仅为美国的1.
生物碱是多种药用植物及中草药的有效成分,具有天然的生理活性,然而,一些有毒生物碱可引发疾病,会对人体造成严重的伤害甚至致死。因此,建立简便、高效的分析方法用于生物碱
针用活性炭是注射剂的生产过程中经常会用到的一种辅料,这主要是因为活性炭有较强的吸附作用,不仅可以吸附热原,还可以吸附杂质和色素,改善药液可见异物。但是活性炭的吸附作
中国西部国际博览城(以下简称西博城)坐落在成都天府中央公园以东,建筑面积约57万m~2,展馆面积达30万m~2,包括5个展厅和1个多功能厅,总投资约200亿元人民币,预计将在2016年6
班级团支部是学校团组织的最基层组织,加强班级团支部是当前学校团学工作的一项重要内容。本文在剖析技工院校班级团支部建设存在的几个共性问题的基础上,就如何提升班级团支
认知无线传感器网络(Cognitive Radio Sensor Networks,CRSN)是近年来无线传感器网络(Wireless Sensor Networks,WSN)发展新方向。同时CRSN也同样面临能量有限和频谱管理问题,由于传统WSN路由协议和认知无线电网络(Cognitive Radio Networks,CRN)路由协议的局限性,设计能够适用于CRSN的路由协议成为当前研究的热点
<正>根据《声学学报》优秀论文评选办法,经过《声学学报》编辑委员会两轮评选,编委会一致同意,决定授予李俊红、魏建辉、马军、任伟、刘梦伟、汪承灏等同志的"ZnO薄膜硅微压
目的 了解长沙市社区老年人选择中医“治未病”服务的影响因素.方法 采用分层随机抽样的方法,应用自制的调查问卷对长沙市2 个社区年龄≥60 岁老年人进行问卷调查.调查问卷内
认知无线传感器网络(CRSN)是一种传统无线传感器网络(WSN)与认知无线电(CR)技术相结合的新型网络。它能够有效地缓解传统WSN中频谱资源短缺的问题,具有广阔的发展前景。然而,
钢铁工业是我国能源消耗的重点行业,能源消耗大,资源利用率低,在能源需求日趋紧张的今天,所面临的形势异常严峻。本文通过对钢铁企业典型产线以及产品的能源介质消耗预测问题