论文部分内容阅读
针对大规模、高维度的图像分类任务,基于人工设计的特征提取算法很难快速准确的对图像进行识别。基于数据的特征学习方法,特别是深度学习,能够充分发挥并行计算架构的优势,从大量数据中提取分布式表示或稀疏表示实现特征重用,获得更高的识别准确率。但实际应用中,大量无标签图像数据更易获取,对这些数据进行标定仍需要消耗大量人力,因此,无监督特征学习方法成为了当前研究的热点。 论文使用半监督及无监督特征提取方法训练神经网络提取稀疏特征表示,从而进一步提高算法在识别任务中的性能。首先,针对无监督算法提取特征判别能力较差的问题,提出了任务驱动的预测稀疏分解(PSD: Predictive SparseDecomposition)算法。而后,我们基于无监督特征学习改善了聚类算法。针对特征表示维度过高不易聚类的问题,提出了深度稀疏表示的对偶性,使用二部图分割方法来发现特征表示中的抽象概念。最后将深度神经网络应用于车型识别上,分析研究不同分类依据及网络结构对监督训练神经网络识别性能的影响。进而提出将基于深度稀疏表示的聚类算法应用于中层视元挖掘,实现了准确、鲁棒的车型精细分类算法。论文将包含以下工作和贡献: 1.受与类别信息无关因素的影响,无监督方法不能提取有效的特征表示来提高后续分类任务的准确性。针对这一问题,提出了基于任务驱动字典学习的预测稀疏分解算法,用半监督特征提取算法对神经网络进行预训练。理论证明了此模型可通过梯度下降法进行优化。在训练过程中,稀疏正则选出与输入信号最相关的基向量进行训练,有效防止过拟合。实验验证该算法所产生的特征表示不仅能准确重建输入信号,而且具有很强的识别能力。有效的特征表示使精调后的神经网络达到更高的识别准确度,在MNIST数据集上的识别误差从2.04%下降至1.98%。 2.由于高维特征表示难以聚类,大量聚类算法仍依赖于人工设计的特征提取算法。针对这一问题,提出了胜者通吃(winner-take-all)自动编码器特征表示与原始输入之间的对偶性。在此基础上,使用无向双边图分割算法对图像进行初始聚类,并采用支持向量机(SVM: Support Vector Machine)对聚类进行优化合并。在MNIST数据集上的实验表明,算法能够有效聚类不同书写风格的数字字符,并进一步将具有相同语义概念的数据合并为一类。该算法的聚类准确率为95%,已达到与监督的K近邻算法相同的水平。 3.在车辆图像检索系统中,车辆分类信息能有效减小搜索范围。针对这一应用,我们收集了两组车型数据以研究不同分类依据对算法的影响,第一组数据包含5类基本车型,第二组数据根据厂商信息包含58类车型。在此基础上,我们使用AlexNet,VGG等不同网络结构构建车型分类识别系统。实验结果表明,在数据量小的情况下,使用ImageNet数据集对网络预训练,之后在车型数据集上进行精调训练能获得更高的识别准确率。目前,只在车型数据上训练的网络在第一组数据上的识别误差率为14.6%。而预训练后再做精调训练的网络识别误差率在第一组数据上为5.11%,第二组为8.2%。 4.车型图像分类问题是典型的精细分类问题。直接处理整幅图像的算法很难获得更加准确的识别。因此,我们提出将基于深度稀疏表示的聚类算法应用于中层视元挖掘任务,挖掘出的图像块使局部差异更显著。最后,我们提出使用集成模型根据整幅图像及局部图像块来进行识别。算法能综合考虑全局及局部特征,消除图像中无关区域的影响,在精细分类任务中获得更高的准确率。并且当图像中出现遮挡时,我们的方法和其他方法相比鲁棒性更强。我们在CompCars数据集上进行实验,在无遮挡情况下,主流卷积网络算法最高识别准确率为98.4%,我们的方法为98.8%。在有遮挡时,卷积网络识别准确率为94%,我们的方法为96%。