论文部分内容阅读
近年来,深度学习一跃成为模式识别领域的研究热门,其充分模拟了人脑深层的识别认知过程,并迅速得到了研究机构和微软等公司厂家广泛的应用和推广。深度学习本质上是一种特征提取的模型,其通过贪心算法逐层训练的策略,能够自动地从原始数据中提取出不同层次的特征集合,而这些特征集合代表了原始数据中不同层次的抽象概念和意义。虽然深度学习如此成功,但是,直接使用深度学习所得到的单层特征集合或者简单地组合多层特征集合来进行分类是不完全合理的,因此本文提出了使用特征选择技术来应用于深度学习所学习到的特征集合。特征选择是模式分类的重要技术之一,其能够有效地减少冗余特征,并且在特征集合中选择出最优的特征子集来进行分类器的学习。另一方面,本文使用了基于局部泛化误差模型的特征选择算法,局部泛化误差模型考虑到分类器的局部泛化能力,具有良好的创新性,同时也得到了广泛的应用价值。文章中首先对基于局部泛化误差模型在浅层架构上的两种不同特征选择算法进行了实验对比,两者是基于不同的特征搜索策略,实验结果表明,启发式后向搜索算法更适用于深度学习的特征选择。然后,本文使用自动编码器技术训练三层的深层架构网络,利用基于局部泛化误差模型启发式后向搜索的特征选择算法分别做了四组实验。其中第一、二组实验分别测试了在深层架构网络隐含层神经元个数不同的情况下各层特征组合进行特征选择的效果。实验结果表明,使用单层的特征进行特征选择后,特征数量大量减少,同时对其分类效果影响不大,这是由于单层特征内部没有太大的相关性,而使用多层特征来进行特征选择时,通过特征的筛选更能有效提高分类器的准确率,把其中冗余的特征剔除掉,且增加深层架构的神经元个数能明显提高特征选择的效果;第三组实验通过改变深度学习训练的参数说明了其训练好坏也会影响到特征选择的效果;最后统计特征选择所得到的特征可以发现,高层次的特征数量较少,其表达的信息量足够丰富而低层次的特征所含的信息量较少。