【摘 要】
:
随着数据规模和计算资源的快速增长,机器学习在理论和实践两方面都取得了长足进展。传统机器学习算法需要大量的标注数据用于训练,然而在诸多实际应用中获取大量标注数据的代价非常高。此外,传统机器学习算法通常依赖于训练数据和测试数据服从独立同分布这一假设,然而在实际应用中上述假设往往难以成立。域适应放宽了这一假设,能够从具有丰富标签数据的相关领域进行知识迁移与复用,是解决目标任务标注数据稀缺的一种基础方法。
论文部分内容阅读
随着数据规模和计算资源的快速增长,机器学习在理论和实践两方面都取得了长足进展。传统机器学习算法需要大量的标注数据用于训练,然而在诸多实际应用中获取大量标注数据的代价非常高。此外,传统机器学习算法通常依赖于训练数据和测试数据服从独立同分布这一假设,然而在实际应用中上述假设往往难以成立。域适应放宽了这一假设,能够从具有丰富标签数据的相关领域进行知识迁移与复用,是解决目标任务标注数据稀缺的一种基础方法。由于深度卷积神经网络具有很强的特征提取能力,深度域适应已经成为近几年域适应研究领域中的热点。本文重点研究了其中的两种主流方法:矩匹配和对抗学习。基于矩匹配的深度域适应方法的核心思想在于通过对齐源域特征和目标域特征的一阶矩或二阶矩使得两个领域间的差异最小,从而使网络端到端地学习到域不变特征。基于矩匹配的深度域适应方法比传统的浅层方法获得了很大的性能提升,但这些工作大多单一地对齐源域和目标域的一阶统计特征或二阶统计特征,对齐源域和目标域数据分布的能力有限。因此,本文提出了一种多阶矩匹配损失函数,该损失函数由多核最大均值差异和多核最大相关性差异组成,能够在再生核希尔伯特空间中同时对齐源域和目标域特征的一阶矩与二阶矩。实验结果表明:与单一地对齐一阶矩或二阶矩的方法相比,多阶矩匹配域适应网络在目标域上的性能有明显提升。虽然基于矩匹配的域适应方法取得了较好的性能,但是仍然存在未充分挖掘特征表达能力以及类别标签信息的不足。域对抗学习通过特征提取器和域判别器之间的“零和博弈”以及最小化源域分类损失来学习具有可区分性的域不变特征。然而,现有的域对抗方法大多利用一阶特征来学习域不变特征,而忽略了具有更强表达能力的二阶特征。因此,本文提出了一种基于二阶表征的条件对抗域适应网络,该方法通过联合建模图像的二阶表征以及特征和分类器预测之间的互协方差以便更有效地学习具有区分性的域不变特征。此外,该方法引入了熵条件来平衡分类器预测的不确定性,以保证特征的可迁移性。提出的方法在两个常用的域适应数据库Office-31和Image CLEF-DA上进行了验证,实验结果表明该方法取得了很好的领域迁移效果,性能优于同类方法。最新的研究工作表明合理利用目标域的伪标签可以有效提升模型在目标域上的泛化性能。由于伪标签通常包含噪声,因此在使用伪标签指导域适应任务时,如何正确选择伪标签数据至关重要。本文提出了一种基于图像变换的不确定性估计技术,该方法通过对输入图像进行多次数据增广计算其预测概率的不确定性,然后以此为准则简单、有效地筛选出具有高置信度的目标域伪标签样本。通过利用目标域的伪标签样本,基于二阶表征的条件对抗域适应网络在域适应数据库Office-31和Image CLEF-DA上的性能进一步提升,获得了领先的性能。
其他文献
进入21世纪以来人们的物质生活逐渐丰富,很多人不再是仅仅关注温饱问题,身体健康和生活品质逐渐受到人们的关心,越来越多的人们热衷于强身健体,其中羽毛球由于其简便、有趣、花样多的特点而受到人们的青睐。得益于科学技术的飞速发展,像智能运动手环、智能手表、智能鞋垫、智能头盔等产品在内的智能设备和网络技术也得到了迅猛的发展。这些智能设备会收集佩戴者的运动数据,通过佩戴者的运动数据得到佩戴者详细的运动信息,再
在能源过分消耗与环境持续破坏的大背景之下,工业领域对于汽车的轻量化技术提出了更高的需求。由于复合材料的优秀力学性能,使用复合材料代替汽车原有的金属材料,可以有效地减轻汽车的重量,提高续航里程,降低尾气排放,有利于环境保护与降低能源损耗。复合材料的性能与各组分材料的含量、性能、分布形式以及界面特性等密切相关,实验的方法难以进行多变量控制,有限元仿真的计算方法受限于计算机的性能,基于多尺度理论分析的解
车载内容中心网络是一种将内容中心网络概念应用到车载网环境下的网络架构,作为其基本特征的网络缓存使得缓存数据在多个节点间的共享成为一种高效数据访问方式。然而车辆的移动性和连接的稀疏性问题使得车辆与车辆之间缺乏良好的协调,导致各个节点缓存的内容冗余度高,缓存空间利用效率低下,路边单元(Road Side Unit,RSU)只能被动地处理来自车辆的请求,难以主动为车辆提供服务,无法充分发挥RSU的缓存能
近几年科技和信息的发展带动基础设施供应链迅猛发展,随之而来的基础设施安全问题也越来越被全世界关注。基础设施供应链在公共服务系统和物流链中一直扮演重要的角色,它越来越多被应用到机场,消防局,物流工厂等领域中。而这些设施在遭受到恐怖袭击或者自然灾害后可能对现代社会的经济发展和社会福祉产生巨大的危害,所以保护它们的安全是这些产业平稳运作的基本前提。在轴辐网络中关于枢纽拦截和枢纽保护还存在许多挑战难以攻克
随着科学技术的不断进步以及对竞技体育越来越高的目标追求,将信息化辅助工具应用在体育比赛与训练当中已经成为一种趋势。排球项目是国家重要的体育项目之一,教练及运动员一直在寻找排球训练环节中的突破点,希望通过制定更加有效的针对性训练方案,实现运动员各项运动水平的不断提高。对于训练中产生的大量训练内容,其分析与统计工作目前仍停留在经验判断以及人工统计层面,教练员主要通过现场指导以及观看训练视频回放的形式对
随着工业互联网的应用越来越广泛,其安全问题也开始逐步受到重视,在攻击者之前发现其存在的潜在安全隐患是十分重要的。模糊测试是一种常用且简单高效的漏洞检测工具,目前在工业互联网漏洞挖掘中也应用广泛。在传统的协议模糊测试方法中,生成测试用例需要花费大量人力和时间来对协议规范进行分析,且随着协议的改变,生成方法将不具备通用性。因此需要设计一种能降低协议分析成本且能得到较好测试效果的模糊测试方法。近年来随着
石油炼化行业是我国重点耗能产业,随着人们需求的增加,生产规模不断扩大,能源需求量随之提高,节能降耗成为当下工作的重点。常减压装置在炼油过程中能耗占比最大,且负责重点产品的产出,其能效水平直接关系到能源的利用效率和企业的经济效益,因此面向常减压装置进行能效评估和能效优化的研究具有重要意义。本文以国家863项目“面向石化工业能效监测评估及优化控制技术与系统”为背景,针对常减压装置单位综合能耗产出量这一
网络在信息化的社会中已经拥有不可取代的地位,然而频发的网络安全问题也不可被忽视,与教学和生活息息相关的校园网也是如此。出口带宽限制、威胁事件突发等问题都会带来严重的后果。防火墙的部署能够有效管理网络,其产生的日志中包含各种信息,分析这些数据能够及时了解网络状态。然而防火墙等网络设备产生的日志数量增长过快,如何高效地完成对海量日志数据的处理,又是一个亟待解决的难题。基于以上的问题和需求,本文以防火墙
铝电解电容器是寿命敏感器件,随着时间的推移,其参数退化到一定程度时,必然会影响电路板的寿命,故而研究其退化规律与寿命特征是至关重要的。文章从铝电解电容器结构和退化机理出发,将温度作为加速敏感应力设计了加速退化试验,并采用加速退化数据进行寿命预测,给出了延长铝电解电容器使用寿命的正向设计方向;从状态修的需求出发,提出了基于BP神经网络的铝电解电容器剩余寿命预测方法,其预测数据来源既可以是现场实测数据
显著性目标检测对于图像理解的进步至关重要,并且已在各种计算机视觉和图像处理任务中展现出巨大的潜力。现有的显著性目标检测算法根据输入图像类型可以分为RGB、RGB-D和光场方法三类。不同于RGB数据,RGB-D和光场数据通过深度图、多视角图和焦点堆栈提供了场景的精确几何信息,如此丰富的几何信息可以为显著性目标检测在挑战性场景下提供有效的显著性特征。然而,显著性目标检测作为许多任务的预处理步骤,要求高