凯莱-克莱因度量学习

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:zhouheknight
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于计算机视觉和模式识别的许多应用问题,如图像识别、检索和聚类等,距离度量学习都扮演着至关重要的角色。目前,度量学习算法可分为线性和非线性两类:线性算法的基本原理是在所有可能的马氏度量中寻找合适的度量使目标损失函数最小;非线性算法则通过核技巧、流形学习、深度学习等方法获得更为一般化的距离度量。本文基于凯莱-克莱因度量,提出一种非线性度量学习算法,以提升传统度量学习对复杂分布数据的学习性能。主要工作包括以下几方面:  1.根据样本数据的统计特征(均值、协方差矩阵)和凯莱-克莱因度量的定义,构造了一种广义马氏度量,并指出了广义马氏度量与马氏度量之间的关系。在机器学习数据库中的性能测试表明:广义马氏度量比欧氏度量、传统的马氏度量有更好的分类性能。  2.提出一种基于MMC(Mahalanobis Metric Learning for Clustering,聚类马氏度量学习)准则的凯莱-克莱因度量学习算法(CK-MMC)。应用MMC的学习准则得到一个凯莱-克莱因度量,在最小化相似样本之间的凯莱-克莱因度量距离的同时最大化不相似样本之间的凯莱-克莱因度量距离。在CK-MMC问题中,使用梯度上升算法进行求解,实验结果表明CK-MMC有效地提升了传统MMC度量学习算法的分类性能。  3.提出一种基于LMNN(Large Margin Nearest Neighbors,最大间隔近邻)准则的凯莱-克莱因度量学习算法(CK-LMNN)。CK-LMNN使用相对距离约束学习得到一个凯莱-克莱因度量,使得每个样本与它的k-近邻同类,同时与不同类的样本点保持较大的距离。CK-LMNN问题使用梯度下降算法求解,实验结果表明CK-LMNN有效地提升了传统LMNN的分类性能。  4.提出一种多凯莱-克莱因度量学习算法(MCKML)。由同类样本集构造一个局部凯莱-克莱因度量,再将所有局部度量进行线性组合得到样本空间上的度量,称为多凯莱-克莱因度量。由于凯莱-克莱因度量内在的非线性,多凯莱-克莱因度量可以更好地模拟数据空间的非线性结构。在MCKML中,使用局部度量和组合系数交替优化的方式求解,实验结果表明多凯莱-克莱因度量有效地提升了单个凯莱-克莱因度量学习算法的分类性能。  5.提出一种自适应约束凯莱-克莱因度量学习算法(CKseML)。在原始凯莱-克莱因度量学习算法的目标函数中,使用固定边界生成约束条件,对空间分布较为复杂的样本适应性不好。CKseML引入自适应收缩扩张约束,根据当前样本空间的分布状态,适时地收缩/扩张成对约束,以松弛边界约束条件,从而能适应分布更为复杂的样本空间。CKseML使用交替迭代方法优化凯莱-克莱因度量矩阵,实验结果表明CKseML比固定边界约束的凯莱-克莱因度量学习算法有更好的分类性能。  本文首次将凯莱-克莱因度量引入距离度量学习领域,突破了现有马氏度量学习的框架,是一种特殊黎曼度量学习的实现,在计算机视觉和模式识别领域具有广泛的应用。
其他文献
随着全球信息网络的形成和经济一体化进程的加速,现代企业面临诸多的机遇和挑战。企业间的竞争逐渐演变成供应链之间的竞争,供应链管理成为企业竞相追逐的焦点。供应链协调优化
随着我国经济的飞速发展,人类对水的需求量逐日剧增,输水管道运输的安全运行成为管道安全监测的一项极为重要的任务。由于一些自然因素和人为因素不可避免地造成管道泄漏,这
实际环境中,语音信号在到达听觉系统时往往伴随着其它噪声。一个能够有效的从干扰源中分离出目标语音的信号分离系统对于自动语音识别、说话人识别、音频检索以及数字内容管理
存储器的可靠性测试是SoC设计中十分重要的问题。本文结合IEEE Std1500以及内建自测试的相关理论,给出并验证了一种进行 SoC存储器的测试方法。该方法可以实现SoC存储器测试
飞速发展的现场总线把信息网络的触角延伸到了底层的现场设备,改变了控制系统的结构,使其向着网络化、智能化、分散化的方向发展,为实现高级控制提供了前提。生产过程测量控制仪
生产调度是制造执行系统(Manufacturing Execution System,MES)的核心和关键技术,合理优化的生产调度方案可以为企业带来显著的经济效益和社会效益。生产调度问题通常是多约束
电渣炉重熔炼钢法在经过多年的实践和发展之后,已经取得了长足的进步,生产工艺也演变的多种多样。由于钢锭在经过重熔后,钢的成分大大改善,质量大大提高,所以电渣重熔目前广
随着世界能源的紧缺和高档办公建筑的不断涌现,如何合理、高效地利用天然能源已经越来越受到社会各界人士的关注。本文从当前国内外遮阳技术研究现状入手,阐明了开发基于LonWor
科技工程文献中存在大量数学公式,而现有的0.R产品难以有效的识别其中的数学公式,其识别结果往往面目全非。本文针对数学公式识别中存在的问题,从数学公式定位、公式图像二值化
随着工业生产柔性化趋势的发展,间歇过程作为现代工业生产的一种重要形式受到了越来越多的重视。尤其对以间歇式操作为主的生产企业,对间歇过程进行优化控制的要求越来越高。由