论文部分内容阅读
随着移动互联网的发展,从移动设备涌入大量多样化的数据,这些数据的处理和分析给我们带来了机遇和挑战。而深度学习研究也在计算能力的提升以及大数据等因素的推动下,突破了计算能力不足、易过拟合等困难,开始发挥其高度抽象的层级式表达能力,成为处理复杂互联网数据的强有力工具。然而大量无标注数据的增长,带来了数据的标注难题,也带来了对无监督特征学习的巨大需求。 本文的工作以深度神经网络为工具,主要针对大量无标注数据的特征学习问题,研究内容如下: 1.提出一种面向聚类分析应用的深度嵌入网络,该模型通过保持数据原始空间中的局部结构并增加对数据的表达的组稀疏约束,从而使深度神经网络学习一种适于聚类的表达。克服了传统的聚类方法没有充分挖掘和利用数据中深层特征的缺点。该模型在人脸及物体图像数据集上的实验效果优于传统的聚类方法。 2.提出一种基于深度广义自编码机的降维方法,该方法通过迭代地探索数据点之间的关系以及数据点的表达,学习到数据内在的低维流形空间中的数据特征。克服了传统降维和子空间学习方法过于简单以及自编码机没有充分利用数据点之间关系的缺点。在流形学习、人脸识别等任务中,深度广义自编码机都要优于传统的降维方法。 以上两个基于深度神经网络的工作,都在无监督特征学习中充分利用了数据之间的关系。这些关系初步揭示了数据的内部结构,而这种结构正是无监督特征学习的关键所在。