基于深度学习的无监督域适应方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:thp2860051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无监督域适应(Unsupervised domain adaptation,UDA)是一种通过从有标注的源域里获得知识,并把知识迁移到缺乏标注的目标域上的机器学习方法。现主流域适应研究关注于对齐两个域的特征分布,借此希望在源域训练的分类器能适用于目标域数据。但这些方法通常存在两个缺陷:(1)分类器偏向源域数据:大部分UDA方法只考虑最小化两个域的差异和源域的分类损失,而不对分类器施加其他约束。所以在这些方法中分类器往往会偏向源域数据,从而导致模型在目标域表现下降。(2)目标域特征区分性不足:现有方法可能只对齐区分性不强的特征(对分类相关性小的特征)。因此他们无法在目标域生成区分性强的特征。针对这些问题,本人在这篇文章中分别提出了以下两种新的UDA框架,(1)针对分类器偏向源域数据的问题,本文提出了一种改进的无监督域适应算法(Reducing Bias to Source Samples for Unsupervised Domain Adaptation,RBDA)。本文的RBDA算法能同时实现特征对齐和减轻分类器的偏向问题。算法使用条件域对抗来学习样本特征和预测的多模态信息,从而实现域对齐。同时针对偏向问题,本文的RBDA算法提出三种措施:使用Teacher模型来指导原模型的训练;使用正则项来约束模型;使用改进的交叉熵函数来学习源域监督信息。这些措施使RBDA算法能有效对齐跨域特征分布并减轻域适应的偏向问题。RBDA算法在Office-31数据集,Image CLEF-DA数据集和Vis DA-2017数据集的迁移准确率分别达到89.2%、88.8%和72.3%,效果优于目前领先的UDA算法。(2)针对目标域特征区分性不足的问题,本文提出了基于嵌入聚类的自监督无监督域适应方法(Self-Training with Embedded Clustering for Unsupervised Domain Adaptation,STEC)。本文的STEC算法采用了通过使用目标域样本进行聚类来产生假标签样本进行自监督学习。这种方式有利于模型从目标域样本中学习到额外的区分性信息。具体地,本文的STEC算法使用不完备自编码器框架从原始特征中学习到一个嵌入特征空间和重构特征空间。在嵌入空间使用了无监督聚类的方法给目标域样本打上假标签进行自监督学习。然后在重构空间训练分类器。与此同时,模型施加聚类约束来保持目标域结构。本文的STEC算法在Office-31数据集,Image CLEF-DA数据集和Vis DA-2017数据集上的迁移准确率分别达到90.5%、89.8%和73.6%,结果要优于目前领先的UDA算法。
其他文献
行人属性作为一种最利于人类理解的生物特征,是智能视觉监控系统中最重要的识别目标之一。行人属性识别旨在从给定的图像中找到目标行人所具有的属性标签,由于能够提供关于人类语义特征的重要信息,该类算法已经越来越多地被集成到安全、商业等领域的实际应用中。本文以基于深度学习的行人属性识别为研究内容,通过对现有算法的分析,发现现有算法倾向于通过在网络中联合全局与局部两个路线以利用人体区域信息取得更好性能,但仍具
人对机器人的信任程度很大程度上会影响到人机协作的效果。目前为止,国内外对于人机的信任度研究成果有限,但是人机的信任度研究已经逐渐成为国内外一个热点问题,而基于外骨骼机器人的人机信任程度研究更是一片空白。随着截瘫助行外骨骼机器人临床测试工作的深入,其信任度对于人机协作效果的影响也逐渐凸显出来。信任作为人的主观因素,对其影响因素的分析与测量是研究的前提。本文针对该问题,对人与外骨骼系统的信任度影响因素
目标检测是计算机视觉领域最重要的任务之一,是其他更高级任务(例如实例分割、行人重识别等)的基础,在智能监控、无人驾驶和医疗影像识别等领域已经得到广泛的应用。然而由于小尺寸目标本身存在的特性(像素点少、边缘模糊等),主流的目标检测算法对小目标的检测仍然存在漏检率高和识别率低等问题。为了解决小目标检测中存在的问题,本文在基于关键点的目标检测算法上展开研究,分别从以下三个方面对现有工作进行改进:(1)提
随着计算流体力学(CFD)应用的精度需求不断提升,网格量越来越大,CFD产生的流场数据量达到了TB甚至PB量级。流场数据的时空复杂性提升,会导致时空特征难以辨认,也需要研究者耗费更多的时间人工抽取关键信息帮助认知流场中的复杂流动机理。如何自动抽取流场特征及关键时间步,将成为研究的热点,也是研究者面临的巨大挑战。近年来,深度学习的快速发展给各领域解决问题提供了新的思路。深度学习技术可以对海量数据进行
随着互联网技术的高速进步,传统工业领域应用互联网技术的情况越来越普遍。工业系统中数据的重要性不言而喻,而传统行业中的企业在数据管理方面能力的欠缺以及数据管理工具的缺失,加之数据来源多样化且异构性高,导致大量工业数据或是质量不高、或是同一企业分布在不同业务系统中的数据之间形成信息孤岛等等,使得数据中的信息得不到有效利用,这其中蕴藏的大量宝贵财富被浪费。针对上述场景,如何高效地集成及清洗多源异构数据,
推荐技术可以发掘用户感兴趣的商品,已经被应用到了互联网的各个领域。一般的推荐系统,通常基于用户的完整个人信息和历史行为做出推荐决策。但在某些情况下,用户的登录和访问是匿名的,其个人信息和长期配置文件往往不能直接获取,并且用户的兴趣又是动态变化的,具有较强的即时性,因此,需要考虑基于用户当前正在进行的会话(Session,又称匿名会话)做出推荐决策,即会话推荐(Session-based Recom
同步理论的起源来自于17世纪C.Huygens发现的单摆同步现象,在这之后的数百年里,同步现象被大量的学者发展和完善,并在众多领域中展现了其应用价值。近些年来,研究人员在微观尺度下观察到了类似的同步现象。依托量子力学的独特性质,使经典同步理论很难准确的描述和分析量子系统的同步现象。所以,量子同步理论成为了一个新的研究热点。量子同步理论作为量子力学、信息学与控制论的交叉学科,其主要研究目标使给出量子
建立可以与人类进行自然交流的智能聊天机器人一直是人工智能领域的巨大挑战。特别是开放域对话系统长期受到语料库和建模方法的限制,难以实现没有任何场景及话题约束的自由聊天。随着深度学习与大数据技术的发展,一种基于深度学习的回复生成方法被提出。该方法建立的聊天机器人可以与聊天者就任意感兴趣的话题进行聊天,具有良好的扩展性。然而这种基于深度学习模型的序列到序列的建模方法利用的是最大似然概率来生成回复语句的每
精神分裂症(Schizophrenia,SCZ)是一种具有严重危害性的慢性精神类疾病,可能给个人及家庭甚至社会带来沉重负担。目前,SCZ的病因和发病机制不完全清楚,临床主要依靠医生经验及患者与家属的病情陈述进行诊断与疗效评估,缺乏客观的评判指标。因此,寻找SCZ的客观电生理标志物以改善SCZ诊断及疗效评估,具有重要的临床意义。临床治疗SCZ主要以抗精神分裂症药物为主。本文针对服用氯氮平的SCZ患者
为了实现半实物射频仿真系统中近场效应误差更高效与更高精度的修正,获得三元组单元馈电的精确控制参数。本文系统的分析了已建立的修正流程和相关原理,针对现行方案存在的优化精度有限且计算效率低的问题提出对应的改进思路,从高精度智能反演算法和高效电磁正演建模两方面对修正方案进行了系统的优化设计和验证考察。对于修正方案中初始幅、相参数提取所涉及的反向优化算法,结合坡印廷矢量公式分别研究了基于PSO算法和PSO