论文部分内容阅读
非负矩阵分解是从“整体的感知是由组成整体的部分感知”思想构成的。它将原矩阵通过非负约束分解成基矩阵和系数矩阵,原矩阵可以看成基矩阵中所有列向量的加权和,它分解的结果中不出现负值,具有可解释性和明确的物理意义。非负矩阵分解是一种处理高维数据的矩阵分解方法,它将高维样本投影到低维子空间上,从子空间上获得样本的特征,提取的特征是基于部分的纯加性的描述,而且在计算机中占用存储空间更少,在图像处理、语音信号处理、文本聚类等领域有着广泛的应用。 对于复杂的数据,非负矩阵分解构成的单层网络无法描述数据内部更深层的特征。为了能够学习到复杂数据内部隐层特性,利用深层网络结构分层提取特征的方法是很必要的。而用非负矩阵分解构建的深度网络,不仅可以分层提取特征,而且还能保持“整体是由部分组成的”物理意义。因而,深度非负矩阵分解的提出具有重要的实际意义,目前对深度非负矩阵的研究正进入新的阶段。本文对深度正交非负矩阵分解进行了深入研究,主要创新工作: 1.本文提出了深度正交非负矩阵分解模型。正交非负矩阵分解是一种有效的无监督学习方法,因为它相当于一个K-means算法很容易实现聚类分析。单层的结构很难获得数据深层的特征,在深度非负矩阵分解的基础上提出了一种新的算法模型,深度正交非负矩阵分解。在CMU-PIE、JAFFE和YALE数据集上的聚类性能实验表明:和非负矩阵分解、半非负矩阵分解、图正则化非负矩阵分解、深度半非负矩阵分解、近似正交非负矩阵分解相比,深度正交非负矩阵分解具有更好的聚类性能,并能实现对复杂数据深层的特征提取。 2.本文提出了用分层交替最小二乘法优化深度模型。传统的正交非负矩阵分解施加严格的正交约束,将数据矩阵分解成基矩阵和系数矩阵,得到的系数矩阵不能保证是正交的。然而,在实际当中,一个样本是否属于某一类有一定的隶属度,因此,本文采用了正交性可控的近似正交非负矩阵分解。近似正交非负矩阵分解具有高效性,而且还能保证分解后的系数矩阵是近似正交的,这对我们进一步研究提供了良好的条件,并用近似正交非负矩阵分解的迭代算法来初始化和更新迭代,这样构建一个深层次的网络结构。在CMU-PIE、JAFFE和YALE数据集上的实验表明:和非负矩阵分解、半非负矩阵分解、图正则化非负矩阵分解相比,近似正交非负矩阵分解具有更好的聚类性能。