论文部分内容阅读
随着数据获取技术的发展,大规模、高维度的数据集的处理渗透到许多应用领域,如医学、分子生物学、地质数据处理、遥感数据处理等领域。这些数据集提供了丰富和详细的信息,但同时也带来了信息冗余与维数灾难。因此,如何在保持完整的数据信息的前提下,从这些数据中提取出隐藏的约简结构显得十分重要。对原始数据低维结构的研究,不但可以消除数据间的冗余,简化数据,提高计算效率,而且可以去除噪声,恢复缺失数据,改善数据质量,提高后续的处理效果。对于大多数高维测量数据,多维结构张量是其自然而本质的表达方式,通过张量分解可以获取高维数据的线性低维表示并挖掘其中的有用信息。传统的张量分解方法不能充分考虑数据分布的内在结构如稀疏、低秩等特性,本文围绕张量的分解及其应用,充分挖掘和有效利用数据的内在稀疏、低秩等特征,提出了先验约束下的张量分解模型,以获取数据的有效表示。针对数据的低维结构不具有全局线性性质的问题,本文采用基于流形的方法,结合非欧空间的黎曼流形和高维数据的局部统计特性,将数据映射到统计流形之上,通过流形上的度量和距离来对数据的低维结构进行更为有效的分析和处理。概括来讲,论文的主要研究内容有:1、针对张量PCA问题,本文提出一种可扩展的快速分解算法——LADMVTPCA算法,从而实现张量的快速分解。该算法引入向量化处理和线性ADM算法来求解优化问题。在仿真实验中,测试了所提出算法对于不同规模的张量数据的运算效率,可以看出相对于目前最快的张量分解算法ADMPCA,本文提出的LADMVTPCA算法具有明显的优势,在对大规模张量数据进行PCA分解时,运算效率优势更加凸显。2、针对受到噪声影响的高维观测数据的低维结构恢复问题,本文借助张量表达对高维数据结构的内在保持,提出了基于低秩张量正则化的低维结构去噪恢复算法。传统的张量分解算法(Tucker分解和PRAFAC分解)只能在数据受到少量高斯噪声影响时有较好的效果,而不能同时有效去除高斯噪声、脉冲噪声等混合噪声。因此,本文采用基于张量t-SVD分解的张量数学,将问题转化为在低的张量tubal rank约束下的鲁棒PCA问题。在仿真实验和实测数据实验中,本文所提出的算法都取得了比对比算法更好的效果,验证了所设计算法的有效性和鲁棒性。3、针对信号恢复的病态性,本文将数据隐含的先验信息作为正则化项组合起来,纳入到信号恢复的框架中。具体地,将张量数据的低秩结构特征和分段平滑结构特征结合起来,能更为有效地恢复出高维数据中的低维结构。对于张量数据的低秩结构,本文用低秩张量分解模型(LRTF)来描述。而数据的分段平滑结构特征,本文采用基于全变分(TV)的方法来描述,这是因为全变分方法能在很好地去除同质区域中的噪声的同时,准确地描述信号的分段平滑结构特征,并且保持边缘和纹理信息。为了克服逐波段或者逐时向的TV的局限性,采用空谱域的TV(spatio-spectral TV,SSTV),能同时刻画沿着谱段维或者时向维的局部相关性。本文将SSTV正则算子和张量低秩约束结合起来,提出了SSTV-LRTF算法。该算法实现了高维数据中低维结构的准确恢复。4、针对高维数据的内在低维结构是非线性的情况,本文通过非欧空间上的黎曼流形对局部统计信息的保持来提取数据的低维结构特征,即在统计流形的框架下对数据的低维特征进行描述。一般而言,数据的局部统计信息是由几个隐含变量控制,这些隐含变量的数目远小于测量数据的稀疏度。数据的局部统计信息相对于数据的其他局部结构(如图像中的局部纹理、轮廓等)具有更便于数学表达的优点,同时对噪声、遮挡和数据缺失更稳健。本文通过揭示数据内在的局部统计信息结构,实现了数据在低维空间的紧致嵌入。