论文部分内容阅读
卷积神经网络属于深度学习架构,其采用了局部连接、权值共享和子采样操作,使得需要训练的权值参数减少,因此,卷积神经网络可以在层数较多的情况下,仍然具有良好的表现。除此之外,卷积神经网络还有平移、缩放不变性等诸多优点。到目前为止卷积神经网络已经应用在了多个领域并取得了巨大的成功,但是卷积神经网络的发展仍然存在以下问题:研究表明,激活函数对于网络性能有着十分重要的影响,但激活函数的选择却十分困难。目前主要通过经验或者试验从一些人工设计的激活函数中选择出合适的激活函数。通过经验来进行选择时,一方面经验可能不准确,另一方面很可能没有经验可以借鉴;而通过试验确定时,又因为同时存在训练算法的其他参数需要选择,而这都需要采用交叉验证来确定,造成了确定最佳激活函数和参数的时间大大增加,给试验带来了很大的不便。针对激活函数选择困难的问题,本文在naxout的基础上,提出了稀疏maxout卷积神经网络,解决了激活函数选择难的问题并改善了maxo ut卷积神经网络性能。卷积神经网络的学习方式,在一般情况下,会采用有监督的学习或者逐层无监督学习方式。逐层无监督学习存在训练繁琐,时间较长,且训练得到的特征与具体任务不相关等问题;而有监督的学习存在梯度弥散,训练样本不足等问题。针对上述问题,本文将有监督学习和无监督学习算法结合起来,提出了基于k-means的卷积神经网络,并且将该网络应用到了交通标志识别任务中。本文主要工作包括以下三个方面:1,针对激活函数选择困难的问题,提出了稀疏maxout卷积神经网络,并在手写数字字体MNIST数据集和CIFAR-10数据集上进行性能测试。试验结果表明,稀疏maxout卷积神经网络测试正确率高于naxout卷积神经网络,性能稳定性优于后者。2,针对卷积神经网络学习方法上存在的问题,提出了基于k-means的卷积神经网络,并在手写数字字体MNIST数据集和CIFAR-10数据集上进行性能测试,并与其他算法进行了对比,试验结果表明,在规模相当的情况下,基于k-means的卷积神经网络在测试集上的正确率优于其他算法。3、针对交通标志识别问题,结合基于k-means的卷积神经网络,提出了解决交通标志识别问题的具体算法。首先将交通标志进行预处理,包括尺寸缩放到统一大小、转变为灰度图和对比度增强等,然后采用基于k-means的卷积神经网络进行特征提取,最终采用支持向量机进行分类。最后将算法在德国交通标志识别数据集上面进行试验,试验结果表明,该算法在测试集上具有较高的精确度,且网络规模明显优于其他算法,时间复杂度较低。