基于源域可迁移性估计的深度域自适应算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:yaleqd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习作为人工智能的核心技术之一,被广泛应用于安防、工业制造、医疗等领域,产生了巨大的经济和社会效益,与人们的日常生活息息相关。传统机器学习假设测试样本与训练样本独立同分布,从而训练的模型在测试集上有稳定的性能。然而,由于真实场景复杂多变,该假设往往无法满足。例如,场景中光照、背景、相机拍摄角度、像素大小等变化均会产生数据集差异。此外,即使针对相同任务,利用不同方法采集标注训练数据的成本通常也存在很大区别。因此,研究域自适应技术,利用相关源域上的监督信息进行模型训练,减少对目标域训练样本依赖,从而降低训练成本,具有十分重要的意义。域自适应技术利用已知的源域数据和未知的目标域数据训练模型,并尽可能保证模型在目标域上的性能。学习具有域不变性的特征空间,从而实现判别模型从源域到目标域的迁移,是当前一种主流的域自适应框架。其中,最大均值差异度量(Maximum Mean Discrepancy,MMD)常用于度量域间差异,从而通过最小化MMD学习域不变特征。然而,当前域自适应算法仍然存在鲁棒性差、性能不稳定的问题。对此,本文将从高效鲁棒的域间差异度量、源域样本可迁移性以及高效的多源域迁移策略三个方面出发,分别结合基于源域类别、源域样本以及不同源域的可迁移性估计,设计高效鲁棒的深度域自适应算法。具体研究内容及创新点如下:(1)从类先验分布差异角度出发,提出基于加权最大均值差异(Weighted MMD,WMMD)度量的域自适应方法。现实场景中,受应用场景、采样标准等因素影响,源域和目标域通常存在类先验分布不一致的现象,产生了负迁移影响。现有域自适应方法忽略了该问题,导致域自适应算法性能下降。提出首先对源域类别进行加权,从而加权后的源域与目标域类先验分布一致。基于该思想,改进标准MMD,提出加权最大均值差异WMMD。进一步将WMMD与深度框架融合,构建了加权域自适应模型WDAN,并扩展了半监督学习的分类期望最大算法用于WDAN求解。实验结果证明,基于WMMD度量域间差异,WDAN能有效减少类先验分布差异带来的负迁移,更好地保留特征的判别能力,从而取得更好的域自适应性能。(2)类条件分布间的差异可以更准确地衡量域间差异,提出最小化类条件分布差异的域自适应方法。类条件分布差异衡量了域间同类样本的差异,同时避免了域自适应过程中类间的相互影响,可以作为域间差异更好的度量。为了衡量域间类条件分布差异,提出先计算每类的域间差异然后求和。基于该思想,改进标准MMD,提出类特定的最大均值差异CMMD。此外,由于目标域类别标注未知,进一步分析了训练过程中目标域伪标签估计不准确产生的影响,并提出高效鲁棒的域差异度量CWMMD。将CWMMD与深度模型相结合,提出CWDAN域自适应方法。实验证明,CWMMD可以更有效地衡量域间差异,同时对域间类先验分布差异和伪标签估计不准确具有更好的鲁棒性,从而进一步提高域自适应效果。(3)针对源域上无关样本带来的负迁移,提出基于PU学习(Positiveunlabeled Learning)的局部域自适应方法。随着海量数据的涌现,通常可以利用大规模公开数据集作为源域进行域自适应。然而,大规模源域中包含大量与目标域无关的样本,将会带来负迁移效果,导致局部域自适应任务上模型性能下降。为了对源域样本可迁移性进行估计,提出结合PU学习机制对源域样本进行权重估计,引导域自适应过程,提出局部域自适应方法PUPDA。实验证明,PUPDA在减少源域上无关样本产生的负迁移,同时促进共享类上的正迁移,从而有效提高局部域自适应性能。(4)域间相似度与域自适应效果有着密切联系,提出基于域加权的多源域自适应算法WMDAN。针对一个目标域,往往可以利用多个源域来进行迁移,通过提高数据多样性从而增加模型的泛化能力。主流多源域自适应方法在训练过程中对所有源域采用相同的迁移策略,忽略了域间相似度对域自适应效果的影响,无法高效利用多源域数据。为此,提出不同源域的可迁移性估计,利用域间相似度引导域自适应过程,构建多源域自适应网络WMDAN。在实验部分,首先在目标检测任务上进行验证,随后进一步扩展了检测网络,在更复杂的机械臂抓取任务上,实现模型从多样化仿真环境到真实环境的迁移。
其他文献
人体行为识别(Human Activity Recognition,HAR)是普适计算领域中的一个典型应用,为很多上层应用如医疗、军事、娱乐等提供了重要的基础信息。随着微机电技术的发展,智能传感器模块在感知能力和识别精度方面得到显著提升,以加速度计为主的传感模块在HAR领域得到了更广泛的应用。因此,目前很多研究工作都在利用传感器提取人体时空运动信息,例如加速度、角速度等行为数据来实现行为识别。类似
学位
可再生能源的大规模应用是实现“双碳”目标的重要途径,但是可再生能源所固有的间歇性问题将会对供能的安全、稳定性造成极大威胁。天然气既可以作为实现“双碳”目标过程中的过渡选项,又可以作为“双碳”目标达成后的平衡措施来提高可再生能源的开发消纳能力,平衡可再生能源对供能系统的冲击。随着“源网荷储”一体化构想和多能互补发展思路的推行,燃用天然气的小、微型燃气轮机在未来能源系统中将拥有广阔的应用前景。在未来的
学位
城市轨道交通是目前改善城市用地有限,解决交通拥堵问题的最好方法。然而,在城市轨道交通工程施工过程中,经常出现各种安全事故。为了降低事故发生频度,减少损失,本文从事故发生的原因入手进行分析,并给出可行的安全管理控制措施。
期刊
超精密运动系统是光刻机的关键组成部分,其控制技术是光刻机的核心技术之一。为满足光刻机特征尺寸、套刻精度和产率等关键技术指标,其运动系统必须兼顾高动态与超精密的运动需求。目前,超精密运动控制通常采用反馈与前馈相结合的二自由度控制结构,在反馈控制带宽受限于机械结构模态无法继续提升的情况下,前馈控制可以通过及时补偿参考轨迹和外部扰动来提升运动控制系统的响应速度和运动精度。然而对于光刻机运动系统这样模型及
学位
近年来,随着互联网金融的发展,非法传销突破了传统地域、社交关系的限制呈现出爆发式的增长和扩张态势,严重威胁着人民的经济财产安全,极大地破坏了国家的金融安全环境。非法传销作为一种集体型欺诈行为,具有组织运作方式复杂、抗侦查能力强等特点。然而,现阶段依赖情报线索、数据检索、人工分析的传销行为侦查手段难以满足我国对非法传销监管的实际需求。大数据时代的到来提供了丰富的金融数据,如何充分利用数据分析技术实现
学位
图像空间分辨率作为衡量天文成像系统性能的核心指标,直接决定能否实现全天候、多目标和高清晰度的观测需求,然而天文成像过程受到系统像差、大气湍流、高度真空和极端温度等众多因素影响,不可避免地造成实际观测天文图像的空间分辨率大幅降低。通过“硬件途径”提高天文图像空间分辨率的效果极其有限,因此本文研究如何利用超分辨率重建技术突破天文成像系统自身的理论衍射极限,尽可能地复原目标天文场景本来面貌且改善其清晰度
学位
近些年来基于端对端学习的神经机器翻译由于其十分突出的翻译性能受到学术界和工业界的广泛关注。相比于传统的需要显式建模隐含结构的统计机器翻译,神经机器翻译直接整体建模源语言文本到目标语言文本的翻译过程,有效地摆脱对于繁琐而复杂的特征工程的依赖。具体而言,其对于待翻译的源语言文本进行理解以编码获得相应的连续向量表示,而后根据该连续向量表示规划目标语言具体内容进而翻译得到目标语言文本。虽然神经机器翻译已经
学位
目的 研究当前及未来气候模式下新疆维吾尔自治区(新疆)钝缘蜱适生区分布情况。方法 通过实地采样及文献检索,选取2002-2022年间新疆地区钝缘蜱的分布数据,利用ArcGIS 10.6软件对获取到的钝缘蜱分布数据进行筛选;从WorldClim 2.1数据库中获取新疆地区过去30年及未来80年气候数据,使用最大熵(MaxEnt)模型的折刀法测试结合Spearman相关性分析筛选主要环境变量。根据筛选
期刊
视觉目标跟踪任务一直以来都是计算机视觉中的热点问题,研究者们始终致力于研究鲁棒的跟踪器来应对现实情况中出现的各种干扰因素,包括:光照变化、形变、快速移动、运动模糊、复杂背景、遮挡以及低分辨率等等。针对这些干扰因素,研究者们通过利用灰度或手工设计的特征来对部分-目标、目标-局部上下文以及目标-背景上下文的关系进行建模。受制于这些简单特征有限的表达能力,基于卷积神经网络的深度特征被引入其中,使得这些方
学位
随着第二代高通量测序技术和单细胞测序技术的不断发展,各大造福人类的基因组测序计划不断开展,产出了大量单细胞测序数据和基因组变异数据,现阶段科研重点已经从获得数据和发现变异,逐渐转向研究变异背后深层次的机理,挖掘基因组变异所映射的表型和细胞型之间的关系,这种科研重心的变化对于理解重大疾病发病机理、发现药物靶点等问题具有重要意义。单细胞测序数据与表型数据的联合分析是解决该问题的重要途径,通过在大量的表
学位