基于特征关系挖掘的度量学习算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ayopr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
度量学习旨在学习一个映射函数,利用该函数将样本从原始的高维空间投影到低维空间中,使具有相似语义的两个样本在低维空间中靠近,反之则远离。度量学习是机器学习领域中的重要分支,被广泛用于处理图像分类、图像检索、人脸识别等计算机视觉任务。近年来,度量学习受到广泛关注,大量算法被相继提出,但仍存在过拟合、数据类型单一、可解释性差等缺陷。本文着眼于特征关系挖掘,通过理论创新解决现有研究工作中存在的缺陷。本文的主要创新工作概括如下:·提出一种多视角度量学习算法,该算法着眼于挖掘视角之间的互补关系从而提升单视角度量的可靠性。近年来,多视角学习受到广泛关注,这得益于它能够提取不同统计下的数据属性。然而,现有的度量学习算法大多针对单视角且有标签的数据,少量标签下的多视角度量学习仍具有挑战。为了解决该问题,本文提出了一种自适应图加权算法来处理半/无监督多视角度量学习任务。具体地,该算法为每个视角构建了一个无向权重图,并将多视角的融合图近似地视为这些单视角图的质心。值得注意的是,该算法能够在一个框架下同时处理半监督和无监督多视角度量学习任务。实验表明,在不同的数据集上,该算法显著优于现有的单视角度量学习算法。·提出一种零投度量学习算法,该算法着眼于挖掘样本之间的多种非线性关系从而实现可迁移的度量学习。虽然多视角度量学习算法能够有效地融合多视角信息,但它以实验条件为前提,即在分布相似的两个数据集上分别进行模型的训练和评估,这限制了度量学习实用场景。为了解决该问题,本文提出了一种新的度量学习任务——零投度量学习,即将优化好的模型用于预测没有见过的类别乃至没有见过的数据集。为了实现零投度量学习任务,本文提出了一种基于多重非线性关系挖掘和回归损失的零投度量学习算法。该算法受到两个事实的推动:(1)从多个角度描述的关系更稳定;(2)视觉相似性是连续的。因此,该算法利用一组特定形状的卷积核来挖掘成对数据之间的多重非线性关系。此外,该算法利用回归损失来拟合预测相似性和连续标签之间的关系曲线。实验表明,该算法能够在两种迁移任务,即迁移到未见过的类别和未见过的数据集上,获得优异的性能。·提出一种深度非对称度量学习算法,该算法着眼于挖掘丰富的样本对关系从而缓解模型的过拟合问题。虽然多视角度量学习算法和零投度量学习算法在一定程度上解决了少量标签的多视角数据的度量难题和度量模型的可迁移难题,但它们皆属于浅层度量学习算法,其依赖手动设计的特征,不能处理大规模复杂数据的度量学习任务。因此,该算法关注深度度量学习。深度度量学习的一个主要研究方向是困难样本挖掘,然而,基于困难样本挖掘的方法仅依赖一小部分数据,容易过拟合。本文提出一种基于丰富关系挖掘的深度非对称度量学习算法,该算法旨在在一定采样规模下挖掘更丰富的成对样本之间的关系。具体地,该算法构造了两个结构不同且长度不等的非对称数据流。非对称结构使两个数据流相互交错,使得模型在迭代过程中接收源源不断的新数据对。为了进一步提升模型的泛化能力,该算法放宽了对类内关系的约束。特别地,该算法弃用了传统的正样本对约束策略——贪婪地约束所有可能的正样本对,只约束类内差异较小的正样本对。为了实现该目标,该算法为每个类别构建最小成本生成树,正样本对在树中被直接或间接相连,而该算法只约束直接相连的正样本对。实验表明,该算法在少量的采样规模条件下,学习到了更为鲁棒的度量模型。·提出一种深度分组度量学习算法,该算法着眼于挖掘多组特征的组内和组间关系从而提升模型性能。虽然深度非对称度量学习算法能够缓解深度度量模型的过拟合问题,但它仅在单个嵌入空间中学习样本的表示,导致维度饱和问题。因此,本文关注深度分组度量学习,在多个嵌入空间中学习样本的表示。特别地,本文设计了一种基于注意力机制的可解释深度分组度量学习算法。该算法将注意力机制中的查询设计为多个参数向量,其中每个向量用于生成一组特征表示。值得注意的是,查询是完全可训练的,在与组间多样性损失结合时,它可以捕获特定于组的语义信息。该算法的显著优势是它自然地赋予了模型可解释性,即查询向量和每个空间位置之间的注意力分数可以解释为该位置的重要性。此外,该算法证明了由所提出的分组模块学到的特征空间对输入样本具有转置不变性,当其用作卷积神经网络中的模块时,模型具有平移不变性。实验表明,相比于同类已有算法,本算法能够提升模型在检索和聚类任务上的性能;此外,该算法的可视化结果清楚地解释了各组表示所学习到的语义信息。
其他文献
深度学习是近年来人工智能领域最重要的研究方向,凭借其优异的性能深度学习已经大量应用于计算机视觉与自然语言处理等领域,并推动了这些领域的快速发展。神经网络架构的设计是深度学习中一项重要的研究内容,设计神经网络需要结合丰富的专家经验,并且是一个耗时、耗力的工作。为了使学者们从耗时、耗力的手工设计神经网络中解脱出来,以实现如何让机器针对目标任务自动设计出性能良好的神经网络的研究方向-神经网络架构搜索应运
学位
可验证计算是有效防止云服务器等非数据拥有者不诚实行为的可靠手段,在数据库安全、云计算安全等相关领域都是研究者们所关注的研究热点。在实际场景中,面向不同的查询计算和验证问题,可验证计算方案构建时所面临的挑战也不尽相同。本文旨在构造更为可靠的高敏感医疗数据流通共享算法,面向云端医疗数据流通共享算法中不同查询计算的可信问题展开深入研究,包括云端疾病诊断的子图匹配结果正确性验证问题,接触追踪算法结果正确性
学位
在摩尔定律驱动下,集成电路上的晶体管尺寸和体积在不断的缩小,然而以电容为代表的元器件尺寸没有获得突破性地缩小。例如,在功率整流转换电路中,核心的滤波无源电容通常使用的是刚性的大体积的铝电解电容,它阻碍了电路系统的缩小。另一方面,现代可穿戴智能电子设备的快速发展同样要求电容型能源存储单元微型化以满足一体化系统的应用。近年来,凭借着快速充放电,高功率密度和长循环寿命的优良特性,基于电化学双电层效应的微
学位
大展弦比、轻结构以及共形天线逐渐成为无人预警机未来发展的方向。将机翼和天线一体化不仅能增大天线面积,而且还可以减小天线安装对无人机气动性能的影响。然而,机翼一体化共形天线在服役过程中受到环境载荷(例如,自重、气动载荷等)作用发生变形,严重影响天线指向精度。因此,实时重构机翼变形信息并进行主动电补偿,成为保障共形天线通讯能力的一种有效手段。当前已有的摄影测量法、激光测量法等光电测量方案容易受到服役环
学位
AlGaN是Ⅲ族氮化物合金半导体的核心材料之一,通过改变Al组分含量,可实现更宽范围(3.39-6.2 eV)的可调直接带隙,且具有耐高压、耐高温等特性,在固态紫外(UV)发光、光电探测、5G高带宽、高功率射频通信等领域都有着极大的应用潜力。为了解决常规低温(T<1000℃)MOCVD生长AlGaN生长效率低、结晶质量差的问题,近年来发展了高温(T≥1000℃)MOCVD外延生长技术,能够有效提高
学位
作为后量子密码的经典代表之一,格密码相较于其他后量子密码具有很多明显的优势。比如格密码具有平均情况的安全性归约,并且可以实现全同态加密等复杂的密码应用等。属性基加密是一种高级的公钥加密方式,可以在大规模用户系统中实现细粒度的访问控制,是一种很有效的系统管理方法。可撤销的属性基加密是属性基加密的一个扩展,它进一步支持用户数量可变的系统。目前的基于格的可撤销的属性基加密的研究处于以下的困境中:一方面,
学位
与传统的汞基紫外光源相比,基于Ⅲ族氮化物的UV-LEDs具有无污染、使用寿命长和尺寸小等优点。但是UV-LEDs仍存在许多问题,首先Ⅲ族氮化物材料缺乏晶格匹配的衬底,高晶体质量的AlGaN材料难以制备。如果使用Ⅲ族氮化物体材料作为外延的衬底,则成本巨大。其次UV-LEDs器件普遍采用横向结构,因此会导致电流在器件中的分布是不均匀的。分布不均匀的电流会导致电流拥堵问题的产生,从而很大程度上会导致LE
学位
随着经济发展深入,经济结构优化转型,企业发展迎来全新契机,通过创新管理模式能够有效实现经济效益正增长。随着信息技术不断完善和创新,企业财务管理模式实现全新路径发展,也为企业财务管理模式创新提供坚实基础。财务共享服务作为基于这一社会发展背景所产生的新型财务管理模式,本质是利用信息技术和数据系统的共享性来加强企业财务管理效率,以此来推动企业财务工作良性运转,使用财务共享服务不仅可以优化企业各部门结构,
期刊
当前电磁设备的结构与功能日趋精密和复杂,为满足系统设计与验证的实际需求,国防与工业界对电磁数值仿真技术的精度和效率提出了更高的需求。为应对挑战,计算电磁学界做出了很多有益的探索。其中,时域不连续伽辽金(DGTD)方法作为一种特殊的时域有限元方法,不仅具有传统时域有限元方法的普遍优点,由于数值流的引入,DGTD方法还可以自然地实现单元级的求解,从而具有了易于并行求解的特性。由于这些良好特性,DGTD
学位
企业要想提升自身的市场竞争力,就必须深入践行财务共享服务理念,构建兼具科学性与合理性的财务管理体系,从而更好优化企业的财务综合控制水平。本文就主要围绕基于财务共享服务下的企业财务管理展开论述,首先概述了财务共享服务的内涵;其次分析了财务共享服务给企业财务管理带来的优势;最后提出了在财务共享服务下优化企业财务管理的措施。
期刊