论文部分内容阅读
矩阵恢复旨在从高维数据中学习低秩结构，广泛应用于模式识别和机器学习等领域。核范数最小化作为矩阵恢复问题的经典的方法，吸引了许多研究学者的注意。然而，该方法需要迭代调用奇异值分解，奇异值分解的复杂度较高。基于矩阵分解的矩阵恢复算法虽然可以降低奇异值分解的计算代价，但矩阵分解的不唯一性以及需要预先初始化矩阵的秩等因素导致算法的鲁棒性较低。基于黎曼优化的矩阵恢复算法能够减少奇异值分解代价，又可以提高矩阵恢复算法的收敛速度，但黎曼优化需要对原矩阵的秩进行估计，目前对于秩的估计仍是一个开放性的问题。此外，许多基于黎曼优化的方法虽然具有较好的数值实验结果，但缺乏深入的收敛性理论分析。为了克服上述的困难，本文围绕矩阵恢复算法的设计及分析等方面进行了系统的研究，旨在开发高效、准确、具有完备的收敛性理论保证的黎曼优化方法。 针对降低奇异值分解的代价较高和矩阵分解的不唯一性问题，提出线性Grassmannian优化算法(Lingo)。Lingo算法在Grassmann流形上采用梯度下降算法交替优化矩阵分解子问题，可以解决低秩矩阵分解的不唯一性。Lingo算法还提出了线性化策略以避免求解多余的辅助变量，并保证矩阵分解因子的子问题具有闭式解，减少矩阵恢复算法迭代的次数。文中还提供了Lingo算法的完备的收敛性理论证明。 针对秩初始化的精度不准确的问题，提出了能够预估秩的固定秩黎曼优化算法(ROAM)，ROAM算法利用预估的秩和迭代子空间跟踪模式，来识别最优的子空间几何结构。同时ROAM算法利用搜索空间的固定秩流形几何结构，采用黎曼梯度迭代求解最优解，并且可以证明ROAM算法的收敛性。 针对秩估计复杂度较高和矩阵恢复算法迭代速度次线性的问题，提出一种黎曼固定秩搜索算法(RIST)。RIST算法将矩阵恢复问题约束在一个低秩矩阵流形的代数簇上。RIST算法提出了一种新的秩估计策略可以自动地、迭代逼近矩阵真实的秩，从而构造出更加精确的子流形解空间。RIST还采用二阶置信阈优化算法，借助子空间流形的二阶几何信息，可以证明算法的理论收敛速度达到q-超线性。 将基于黎曼优化的矩阵恢复算法扩展到众包学习应用中，并提出了鲁棒低秩众包学习模型。该模型采用低秩近似策略来捕获标注者之间潜在相关性，同时利用l2,1范数识别众包学习应用的特定稀疏噪声。实验结果表明鲁棒低秩众包模型可以提高众包学习的精度和效率。