度量学习理论与算法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jacyChan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息社会产生的大量数据包含丰富的知识财富,学者们提出大量的机器学习算法来挖掘这些知识财富,促进形成更加便捷智能的社会。然而由于大量算法,特别是距离相关的算法,忽略了数据不同维度之间的关联性,导致算法性能受到约束。因此调整和改变数据分布的空间结构可以提升相关算法的性能,有助于构建新的模型,更好地解决实际问题。度量学习算法旨在学习依赖于数据的空间度量,使得原始数据在这个度量下,同类点之间的距离变小,异类点之间的距离变大。由于其在提升kNN算法性能上的显著效果,已经被广泛应用到很多实际领域,在人脸识别,图像分类等领域都获得了很好的效果。然而度量学习领域还存在如下问题:算法求解慢,学习全矩阵易导致计算复杂度偏高;线性矩阵映射能力弱,改变距离关系的能力有限;一些特殊问题未得到深入研究,度量矩阵客观存在却没有合适的算法来学习。本文首先总结分析了已有的经典度量学习算法,然后针对上面的问题,一方面提出更高效率的度量学习算法,根据度量学习思想改进已有的经典模型,另一方面将线性映射扩展成非线性映射,增强空间映射能力,最后将度量学习引入到多示例问题,多视角问题等特殊问题中,期望改善这些特殊问题的学习效果,本文的主要工作具体如下:  (1)度量学习算法分析对比度量学习最早的工作之一为Eric.Xing在2003年提出的算法,本文归纳总结了2003年至2015年顶级期刊会议上的度量学习算法,根据算法的显著特性进行分组理论分析,讨论优点与不足,然后在各组选择代表性算法,利用标准数据集考察算法学习的度量矩阵对kNN性能的提升效果,最后利用图像数据集考察算法性能与忌值的关系,以及与距离变化的关系。  (2)线性度量学习首先构建基于特征分解的全局和局部度量学习模型,模型分别从全局和局部角度构建最优化问题,两个子模型都可以用特征分解方法快速求解,算法不仅可以用于学习度量矩阵,还能进行空间降维,数值实验表明算法在提升kNN性能和有监督降维上都有着良好效果。其次基于度量学习思想改进最小二乘支持向量机,并利用交替方向乘子法求解,提高了算法的分类性能;最后提出多度量支持向量机,为分类问题中的每个类别学习一个局部度量,不仅更好地提取了局部距离信息,还可以学习到关于类别的特性信息,实验表明算法的学习效果相比传统方法有一定的竞争力。  (3)非线性度量学习为了提高度量能力,我们将线性度量扩展成非线性度量,构建多层神经网络,同时将多视角学习与其结合,每个视角对应一个非线性网络,不同视角数据映射到同一空间中,在度量学习的类间距离最优化原则和多视角学习的一致性原则下,多个视角信息有机融合起来对数据进行判别。实验证明了模型的映射能力。  (4)特殊问题度量学习将度量学习引入到多示例问题和多视角问题中,通过学习合适的度量矩阵来提高这两类问题的学习效果。多示例问题中关键要解决包的距离问题,通过构建合适的目标函数来最优化包之间的距离,多视角多示例问题要统筹考虑包的距离问题和不同视角的度量信息融合问题,本文利用距离信息构建联合概率分布,通过极大化似然概率来使得相邻样本尽可能相似。数值实验证明特殊问题中的度量学习可以获得不错的学习效果。
其他文献
高考中含参量函数的试题几乎年年必不可少,许多学者对此类高考试题的研究兴致很高,也得到许多有益的研究成果,因此对含参量函数的命题研究是有研究价值的.如果教师和学生对含参
全文共分四部分.第一章简要回顾了一些必要的知识点,主要有B-样条函数、支撑向量分类机和数理统计中的回归问题及其复共线性等内容.这些内容将在后在用到.在这里集中列出以使
模糊分析方法和理论是应用于不确定性不可量化经济系统中的新的方法和理论,是近几年新兴的经济理论研究热点.该文对此作出尝试,把这种新的方法和理论应用于实际系统开发和研
在经济现象的动态性质研究中,对于风险或者不稳定性的研究占有非常重要的地位.离散时间的自回归条件异方差模型(AutoregressiveConditional Heteroskedasticity model,ARCH)
该文主要研究了石油钻井成本控制中的钻井进度趋势和钻井周期的测算两个问题.提出了钻井进度趋势曲线的模型:各井段钻井时间与进段深度的指数方程;用某区块的钻井数据逐段求
该文主要从以下几方面以《理论力学》CAI系统的制作为例概述了多媒体CAI系统的制作过程:CAI系统的软件设计(1)静力学(2)运动学(3)动力学.CAI系统的结构设计.CAI系统素材的编
四元数是William Rowan Hamilton于1843年发现的数学概念,是对复数的扩展,它代表着一个四维空间,而在它基础上的四元数线性正则变换是一种有效的信号处理工具,正日益受到国内外众
将一个图G的所有最大匹配作为顶点集,若两个最大匹配M1与M2的对称差导出一条路(路的长度没有限制),则称M1与M2相邻,由此所得图为图G的新的最大匹配图.本文研究了新的最大匹配图的
若某连通图G的任意两个圈之间至多只有一个公共顶点,我们称图G是仙人掌图.以lmn表示匹配数为m的n阶仙人掌图的集合.显见,n≥2m.在文献[32]中,Li和Zhang得到了n=2m时,lmn中具有最
论文包括三章内容.第一章介绍了吴方法的基本概念和基本定理.重点介绍了余式公式和零点分解定理.第二章介绍了吴方法在天体物理学中的一个应用.先介绍了星体的平面中心构型的