论文部分内容阅读
随着传感器和存储技术的快速发展,具有多线性结构的高维数据在科学与工程领域中已变得非常普遍。多尺度张量逼近是分析与处理这类张量数据的强大的数学工具。在过去的十余年里,多尺度张量逼近的应用范围已由最初的心理测量学和化学统计学迅速扩展到信号与图像处理、计算机视觉、模式识别、数据挖掘和机器学习等领域中。对于张量数据,多尺度逼近通常用于维数约简、特征提取和噪声移除。近年来,多尺度张量逼近在算法与应用方面取得了丰硕的研究成果,但仍有一些问题值得进一步研究与解决,例如多尺度非负张量逼近算法、张量补全算法和张量度量学习。本论文研究了多尺度张量逼近的算法及应用,主要工作如下:1.建立了多层非负矩阵分解模型,并构造了相应的算法。在非负矩阵分解中,每个数据样例需要表示为向量形式。对于非负张量数据集合,非负矩阵分解没有考虑基的多线性性。而多层非负矩阵分解先将非负矩阵分解所得到的基向量重新表示为基张量,再将每个基张量沿某个模式分离成子张量集合,然后对每个子张量集合执行非负矩阵分解。重复上述过程,直到非负矩阵分解所得的基不再具有多线性性为止。作为非负矩阵分解的推广,多层非负矩阵分解具有更好的数据压缩、稀疏特征表示和去噪性能。构造了多层非负矩阵分解的自上而下的算法,并使用乘性迭代算法对其进行改善。2.将非负矩阵分解与非负张量分解应用到SAR图像分类中。首先,通过对SAR图像的噪声机理分析,提出了非负矩阵分解的代价函数。接着,给出了非负矩阵分解的乘性迭代算法。然后将非负矩阵分解推广到非负Tucker和非负PARAFAC模型,并设计了相应的乘性迭代算法。SAR图像分类的试验结果表明:与传统的子空间方法相比,非负矩阵分解不但具有良好的分类性能,而且还可以获得好的局部特征;而非负张量分解在获得好的分类性能的同时,还可获得更稀疏的局部特征和更好的压缩性能。3.基于下采样方法提出了多尺度非负张量逼近的快速算法。现有的多尺度非负张量逼近算法主要是乘性迭代算法,此算法虽简而易行,但收敛速度通常比较慢。高维张量数据对多尺度非负张量逼近的计算与存储带来了挑战。张量可视作多元连续或分片连续函数的离散化。基于此假设,先对高维张量进行下采样,再对下采样后的低维张量执行多尺度非负逼近,最后对多尺度逼近的模式向量进行插值,即得到了高维张量的多尺度非负逼近。随后对下采样方法的逼近误差界进行了分析,并进一步讨论了下采样因子的选取准则和下采样方法在分块非负张量逼近中的应用。下采样方法可大大降低数据的维数,从而减少计算复杂度和存储需求。4.提出了非负矩阵补全与非负张量补全算法。对于含丢失元素的非负矩阵,基于非负矩阵分解来补全矩阵。先将非负矩阵补全问题转化为交替求解两个非负最小二乘问题。在求解非负最小二乘问题时,沿搜索方向采用精确的步长,其中步长的选取具有极低的计算代价。然后将非负矩阵补全算法推广到非负张量情形,基于非负Tucker逼近来补全张量。把非负张量补全问题转化为交替求解一系列特殊的非负矩阵补全问题。试验结果表明:所提出的非负矩阵补全算法优于现有的算法;对于具有多线性结构的张量数据,非负张量补全比非负矩阵补全具有更好的恢复性能。5.构造了张量补全算法,并将其应用到人脸识别中。实际应用中的张量往往是低秩或近似低秩的,这类张量本身具有较低的自由度,故可由张量的部分元素来恢复它的所有元素。基于张量的低维Tucker逼近,提出了张量补全算法,并证明了它的收敛性。试验结果证实了张量补全算法的优越性:它几乎完美地恢复了低秩张量,有效地移除了张量的噪声。此外,人脸识别的试验也表明补全算法的可行性与有效性。6.将马氏距离推广到张量情形,提出了高维张量数据样例的度量学习方法。首先,提出了一种新的距离度量,即基于张量的马氏距离。接着通过求解张量最大塌陷度量学习模型来得到张量的马氏距离矩阵。与传统马氏度量方法相比,所提出的张量度量学习方法具有较少的参数,这在一定程度上可以减轻维数灾难和过拟合现象。根据所学的张量马氏距离矩阵,还可以实现高维张量的维数约简。