图正则的大规模非负矩阵分解算法研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:kaka43210
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会进入大数据时代,发达的科技、高效的信息流通方式,使得社会活动与人们交流变得越来越频繁,产生了大量的数据。如何对这些数据进行挖掘,得到有用的信息,成为当下需要解决的现实问题。而非负矩阵分解是一种流行的数据挖掘方法,它将一个高维非负数据矩阵分解成两个低维的非负矩阵。降维后的数据,可以降低后续处理的计算复杂度,在不损失信息量的情况下压缩数据规模。因为这些优势,这一方法已广泛应用于各个领域。然而,非负矩阵分解缺少非线性信息并且在分解过程中不能保持原数据空间的几何结构,因此在某些数据集上不能得到很好的结果。对此,研究人员在非负矩阵分解中引入了图正则化的技术,提出了图正则非负矩阵分解。针对网络的图切分问题,提出对称非负矩阵分解。图正则非负矩阵分解能将数据的几何结构信息嵌入分解过程中,对称非负矩阵分解使用图邻接矩阵作为样本矩阵,引入了非线性信息,从而提高分解的效果。但是,对称非负矩阵分解也与非负矩阵分解一样在分解过程中不能保持原数据空间的局部几何结构,于是本文提出了图正则对称非负矩阵分解。由于图正则项使得非负矩阵分解的系数矩阵中的元素紧密相关,极大的增加了分解过程中数据的通信量。所以图正则非负矩阵分解不能在分布式系统上处理大规模数据。针对上述问题,本论文提出了一种分布式图正则非负矩阵分解框架,能够适应分布式集群系统对大规模数据降维的需求,并具有良好的效果。主要贡献包括:(1)对传统的图正则非负矩阵分解模型进行数学变形,提出分布式图正则非负矩阵分解模型,打破了原模型变量更新时的依赖关系,减少了计算时的通信量,得到近似线性的加速效果;(2)提出图正则对称非负矩阵分解模型,在分解过程中维持了原数据空间中的几何结构,提高分解性能;并提出分布式计算策略,使得该算法在分布式系统上得到良好的加速效果;(3)在增广拉格朗日法框架下,利用贪婪坐标下降算法求解所提出的图正则非负矩阵分解模型,使得这两类模型适应于大规模数据处理需求;(4)提出两种图构造方法,即k-NN图和稀疏表示图,的分布式计算方法,使得两种图构造方法能够在分布式系统上执行,完善分布式图正则非负矩阵分解框架。
其他文献
自由贸易试验区(下文简称“自贸试验区”或“试验区”)是我国对外开放的探路者,在区内实行资本项目开放的试点就是我国探索金融开放的重要举措,也是逐步完善金融体制过程中隔
传统的无线定位算法假设信号基于视距(Line-of-sight,LOS)传播,但在实际的室内环境下,由于障碍物的存在,信号传播会经过多条路径到达接收端,产生非视距(Non-line-of-sight,NLOS)误差。NLOS误差的存在不仅影响定位精度,也使得目标节点与足够数量的参考节点进行通信十分困难。鉴于单一定位技术达到的定位精度有限,论文基于节点间的距离和节点的速度,从技术融合的角度,采用协作
随着高新科技的不断发展,产品设计和生产自动化程度的不断提高,复杂曲面的应用也越来越广泛。当前的CAD建模技术已经可以设计出外观上令人满意且光滑的复杂曲面,但是这些复杂
地名属于社会基本的公共信息,与人们的日常生活息息相关,同时地名也是地方历史文化的重要载体。地名更名是包括政治、经济、文化、社会管理等诸多内容的重大行政决策行为,它
慈善事业中国自古有之,而随着互联网的不断发展,慈善事业也逐渐由线下转移到了线上,各种募捐系统层出不穷。但是,近年来各个慈善机构丑闻不断,随之爆出的贪污受贿等问题冲击
在我国平安城市计划开展以来,人们对公共场所的人身与财产安全的关注度越来越高。利用大量的视频监控摄像头快速、准确地获取公共场所的人像信息对城市公共秩序的管理以及刑
视频目标分割是旨在从视频序列中将前景目标与背景区域分离的二值标记问题。视频目标分割的难点在于由于视频内容的丰富性,导致视频内容场景复杂。同时,由于视频往往包含了丰富的运动信息,从而引起物体之间存在遮挡、快速运动、形变等,给准确、稳定的目标分割任务带来了严重的挑战。近年来视频数据的大量积累,而人工处理的方式却要耗费大量人力财力,然而大多数现有的研究成果在质量和效率方面仍然存在严重的局限性,充分利用视
对称锥互补问题(SCCP)是一类理论丰富、内容新颖、涵盖面广的均衡优化问题.其广泛应用到交通、经济、对策论、工程力学等诸多领域,然而在应用中常常会遇到许多随机因素的影响
随着服务计算、云计算、物联网、大数据等高新技术的快速发展,由现实世界与虚拟网络空间之间各类线上线下的服务互联互通,产生了大服务的现象。大服务源于互联网中多样化、异
随着WiFi设备应用的普及,WiFi不仅能为人们提供便捷高速的数据服务,而且在目标探测和识别方面有着强大潜力。由于基于WiFi信号的运动检测技术不要求被检查者穿戴昂贵的设备,也对被检测者所处的环境没有太多限制,因此一直是研究的热点问题。手势识别作为人体运动状态检测的一种,由于手势变化的幅度较小,因此需要更精细的检测手段对不同的手势进行识别。现有的基于WiFi信号的手势识别技术手段主要根据商业网卡来