正交非负局部线性嵌入及优化算法研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:neithernor86
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的不断发展,人们能够接触并获得的数据越来越多,规模越来越大,如互联网信息、气象数据等。这些数据一方面为人类社会和生活带来了极大便利,另一方面又带来了挑战:如何在规模庞大的数据中提取出有用的信息进行处理以反映事物本质特征。数据降维作为一种有效的处理方法应运而生。传统的降维方法如主成分分析、线性判别分析等已经得到了广泛的应用,但是它们提取的特征中含有负元素,而负数在某些实际应用中缺乏合理的解释。因此,约束特征非负的非负矩阵分解方法得到广泛关注,具有广阔的应用前景。非负矩阵分解(NMF)将一个高维非负矩阵m nV R??近似分解为两个低维非负矩阵m rW R??和H Rr n??的乘积WH,分解后使V与WH之间的距离尽可能的小。W和H的非负约束的直观解释是:整体是由局部组成的,因此NMF广泛应用于模式识别、数据挖掘和计算机视觉等领域。然而,某些高维数据可能分布于低维的流形表面,最初的NMF没有考虑数据的几何结构信息。为了考虑数据的几何结构信息,研究人员提出基于流形的非负矩阵分解模型及其扩展模型。在前人工作的基础上,本文提出一种新的基于流形的非负矩阵分解模型——正交非负局部线性嵌入(Orthogonal Nonnegative Locally Linear Embedding,ONLLE),并针对ONLLE优化问题提出两个高效优化算法。本文主要工作包括:(1)正交非负局部线性嵌入——ONLLE。ONLLE假设每个样本嵌入在它的若干最近邻中,并且在子空间保持这种近邻关系,使得数据的局部几何结构保持不变。为了学习到基于局部的稀疏表示,ONLLE约束基矩阵是正交的,突出其空间局部特性。为了评估ONLLE的性能,本文在若干人脸数据集上测试了它的人脸识别和图像聚类性能,并与其它典型的NMF模型进行比较。实验结果表明,ONLLE的人脸识别性能和图像聚类性能优于传统的NMF、NPNMF和GNMF算法。(2)Stiefel流形上的快速梯度下降法。乘法法则(MUR)是一种流行的NMF优化算法,但是由于MUR每次更新时沿着调整后的负梯度方向的搜索步长固定为1,导致MUR的收敛速度慢。为了加快ONLLE的收敛速度,本文在Stiefel流形上搜索基矩阵的解,提出ONLLE的Stiefel流形上的MUR算法。为了克服MUR固有的缺陷,本文设计了一种比MUR更高效的Stiefel流形上的快速梯度下降法(FGD)。实验结果表明,Stiefel流形上的FGD的收敛速度快于Stiefel流形上MUR。(3)有限记忆快速梯度下降法。FGD存在退化为MUR的风险,研究人员提出多步长快速梯度下降法(MFGD),它沿着调整后的负梯度方向使用多变量牛顿法搜索最优步长向量。MFGD存在以下两个缺点:1)高维的稠密Hessian矩阵的存储开销过大,2)算法过程中Hessian矩阵的求逆运算及其与梯度的乘积运算的时间开销过大。为了克服MFGD的缺陷,本文提出有限记忆FGD算法(L-FGD)。特别地,在MFGD搜索最优步长向量的过程中,本文采取有限记忆BFGS(L-BFGS)算法直接近似Hessian逆矩阵和梯度的乘积。为了评估L-FGD的性能,本文在两个人脸库ORL和PIE、两个文本库Reuters和TDT2测试算法效率和聚类效果。实验结果表明,在聚类效果相当的情况下,L-FGD的收敛速度显著快于MFGD和MUR,且所用存储空间少于MFGD。
其他文献
本文研究了一类带非齐次Dirichlet边界条件且具有加性白噪声的随机非线性Schrodinger方程.此类方程描述的是光或者波在介质中的传播过程,并且传播过程中会受到不确定因素的干
【目的】通过文献研究、O*NET研究及问卷调查等方法,探讨我国医学期刊编辑胜任的关键要素,初步建立我国医学期刊编辑胜任特征模型,了解我国医学期刊编辑能力素质现状,并探讨其提升途径。【方法】以胜任特征研究为基础,探讨我国医学期刊编辑的关键胜任特征,并从素质、技能、知识3个方面了解我国医学期刊编辑能力素质现状。对我国医学期刊编辑所需及待提高的能力素质加以概括。【结果】初步建立的我国医学期刊编辑胜任特征
【关键词】免税经济 离岛免税 消费回流 对外开放 【中图分类号】F752 【文献标识码】A  近期,以海南离岛免税为代表的免税经济,体现了制度型开放创新,带动了消费回流、旅游发展和商业繁荣,成为我国开放经济中的靓丽名片。免税经济是强政策行业,在发达国家较为成熟,在我国则起步较晚,目前仍处在政策探索的初期阶段。超大规模市场优势、巨大国内消费潜力以及更多国家政策的倾斜和支持,为我国免税经济发展提供了良
亲代抚育(parental care)是亲体为提高后代适合度而采取的行为投入。探索亲代抚育的模式及其进化成因,有助于理解性选择、母幼冲突以及繁殖代价等行为与生活史进化核心理论,
本文中所提到的群均为有限群.本文主要研究了几乎SS-拟正规子群给有限群结构的影响以及子群的(?)s-拟正规性给Sylow塔群结构的影响.群G的子群H称作为在G中几乎SS-拟正规,假如
点覆盖问题是一个著名的NP完全问题,虽然该类型问题的复杂度很高,但在日常生活中的应用非常广泛。比如,大型网络监控节点的布置,人员排班,超大规模集成电路芯片的设计等等。
香椿(Toona sinensis)是棟科香椿属香椿种树木,其嫩芽风味独特,营养丰富,是我国高档特产蔬菜,在我国已经两千多年的食用历史,分布种植,深受广大民众欢迎。根据研究表明,香椿
转录调控是基因表达调控过程中的重要环节,对于转录因子的结合位点的识别是解码转录调控的中心课题之一,并且是理解基因转录调控机理中极其重要的一步。相关研究表明,转录因
本文主要是对利用光学参量过程产生压缩态光场的实验记录。以及利用平衡零拍装置对压缩度进行了探测。并且对实验中各个部分逐一进行理论与实验上操作进行了描述。最后,测得
集成剪枝技术可以有效解决集成学习存在的高计算复杂度的缺点。在各种集成剪枝方法中,基于排序的集成剪枝方法方法简单但具有良好的性能优势。基于排序的集成剪枝方法的评估