论文部分内容阅读
互联网技术的迅速发展,微信、微博等手机媒体应用也随之兴起,互联网用户可以便捷快速的上传或查看图片。但是,如今现实生活中,大量未标记的图像很难被搜索和处理到。同时一般的图像分类方法在这些图片上的分类和识别能力已经不尽人意,特别是在处理一些复杂的自然图像时,这些方法就显得捉襟见肘了。深度学习的出现,给图像分类识别提供了新的强大的方法。卷积神经网络(Convolutional Neural Network,简称CNN)是深度学习的一个重点研究内容,也是深度学习在图像处理方面应用最广的方法。训练CNN的方法中较为常见的是误差反向传播(Back Propagation,简称BP)算法,BP的核心是梯度下降算法,但是梯度下降算法容易落入局部极值,参数越多的神经网络越难找到全局最优。协方差矩阵自适应进化策略(Covariance Matrix Adaptive Evolution Strategy,简称CMA-ES)是一种优秀的智能算法,寻优性能好。论文利用CMA-ES算法优化CNN参数,缓解网络模型的局部最优情况。由于电脑硬件条件的限制,论文选取了网络结构相对简单的LeNet-5网络模型作为研究对象。论文主要阐述了使用CMA-ES算法优化卷积神经网络参数的方法,旨在提升CNN模型的精度,提出了CMA-ES-CNN算法。CMA-ES算法虽然寻优效果卓越,但是它数学表达式繁琐,计算复杂,参数繁多,这样必定会消耗很大的内存资源。为了减少其对内存资源的消耗,论文化简了CMA-ES算法,提出了简化协方差矩阵自适应进化策略算法(Simplify Covariance Matrix Adaptive Evolution Strategy,简称SCMA-ES),舍弃了两条进化路径中的一条,而且使用协方差矩阵的平方根取代了协方差矩阵本身,这样减少了算法的复杂度,降低了矩阵分解所占用的内存资源,使用SCMA-ES算法优化CNN参数,提出了SCMA-ES-CNN算法;最后比较SCMA-ES-CNN算法、CMA-ES-CNN算法和遗传算法(Genetic Algorithm,简称GA)卷积神经网络在MNIST(Mixed National Institute of Standards and Technology,简称MNIST)数据集上的性能表现;采集几个同学的手写数字作为一般数据集,比较SCMA-ES-CNN与CNN的正确率,验证改进算法的泛化性能。