基于全局语义推理的非共享且稀有迁移学习

来源 :湖南大学 | 被引量 : 0次 | 上传用户:zhuyanmei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络在解决各种机器学习问题和应用方面取得了重大进展。然而,这一显著进步得益于大规模下可用的带标签数据。通过手工标记足够的训练数据用于特定应用任务上通常是不可取的,在缺乏标记数据这一问题上,亟需设计出通用的算法以减少在人工标记上的消耗。领域自适应方法能够应用机器学习方法针对一个分布中采样的数据进行训练,并将其应用于另一个分支中采样的数据,其核心是适应不同域的数据分布变化。但是,在实际应用场景中,一方面,通常很难做到源域与目标域的标签空间是一致的,另一方面,存在着因源域对应空间下的数据量稀少而引起的过拟合问题。
  针对上述提到的,本文建立起非共享且稀有的迁移学习研究问题,采用条件对抗训练与外部知识推理结合的方式对图像数据进行分类,深度对抗网络可以降低不同领域特征表示的分布差异,外部语义知识可以加强自动学习能力,相对于传统的领域自适应方法能够更加高效地训练且得到更准确的识别效果。
  首先,本文以餐厅智能收货场景为切入点,在分析了图像分类和领域自适应等前期研究工作的基础上,提出了一种基于条件对抗网络和先验树的领域自适应模型(CTAN)。与以前的将源域和目标域的特征分布进行完全匹配对齐的方法不同的是,该方法可以将同一层级下的非共享类知识联合借用到源域的共享类中,进一步利用条件对抗网络将共享类的知识从源域迁移到目标域。并且将CTAN跟现有的域适应模型做比较与分析,两个数据集的实验结果均验证了该模型的有效性。
  考虑到先验树仅使用到较浅的层级关系,为了充分利用类别标签中丰富的语义信息,进一步设计了一种全局语义推理下的条件对抗域适应模型(GADA)。旨在利用外部知识来增强局部特征表达和节点之间的知识传递,这是通过两阶段算法实现的。在第一阶段,将迁移下的图推理层(TGR层)嵌入到卷积层的后面,该TGR层基于先验知识对图节点执行语义推理,以实现相邻节点之间的知识共享。在第二个阶段,通过对抗性领域自适应来实现的,以使多峰分布对齐,从而实现不同领域之间的知识共享。将所提出的算法在多个数据集上进行了评估,性能均优于最新算法。
其他文献
OpenStack是一个开源的云计算框架,提供了存储、计算和网络服务,并逐渐成为云计算基础设施及服务的事实标准,同时,其安全性也越来越受到重视。外部渗透、蠕虫和分布式拒绝服务(Distributed Denial of Service,DDoS)等攻击对云平台造成巨大威胁。在传统的基于泛洪的高速率DDoS攻击方面,已有大量研究成果,但近年来出现的低速率DDoS攻击,具有流量小和隐蔽性强的特点,对云
在光纤传感技术中,光纤法布里-珀罗传感器具有体积小,制作简单,抗电磁干扰等优点,并且可以测量温度、应变、加速度等多种物理量。随着越来越多结构精细的法布里-珀罗传感器的诞生,法布里-珀罗解调的研究也越来越深入。根据法布里珀罗干涉光谱的干涉特性,法珀腔长决定了干涉的周期,这个干涉的周期信号会附加一个相位,那么干涉光的总相位就包括了腔长和附加相位两个未知量。一般解调过程都是先求出光谱总相位再来计算腔长,
[摘 要]在信息化时代,社区教育数字化学习平台是各地开展社区教育工作的重要载体,在时间和空间上突破了对学习的许多限制,体现出社区教育的诸多功能。文章以湘潭乐学社区平台为例,对社区教育数字化学习平台建设进行了实践探索。   [关键词]社区教育;数字化学习平台;路径;能效   [中图分类号]G77 [文献标识码]A [文章编号]1008-7656(2021)03-0059-03   引言
期刊
[摘 要]当今互联网的发展日新月异,拓展了人类的生产、生活空间。社区教育的发展需要数字化技术的支撑,跨区域社区教育数字化学习平台的建设是实现“人人可学、处处能学”的有效途径。通过调整管理机制、共建共享资源、拓展两地产业数字化合作、两地交流社区教育资讯等途径,加强社区教育数字化平台的共建共享,促进两地社区教育工作的快速、稳健地发展。   [关键词]社区教育;共享共建;数字化资源   [中图分类号
期刊
[摘 要]为了解国内学习投入的研究现状, 文章以中国知网数据库从2011年到2020年近十年收录的2404篇学习投入相关的论文为研究对象,采用文献计量分析方法,运用CiteSpace 软件对发文时间、研究结构、作者和关键词進行可视化分析,结果发现:国内该领域研究的文献数量总体呈上升趋势;研究结构主要集中于高等院校;相关作者较多,但合作研究不够紧密;研究热点集中于定义、影响因素和中介变量等方面。  
期刊
数字图像是传递信息的重要载体,但是在采集或传递过程中易受到噪声、遮挡或像素丢失等多种形式的干扰。由于设备、时间等限制因素,在无法重新获取原始清晰图像的情况下,如何应用图像处理算法对所获取低质量图像进行干扰修复以还原出潜在高质量图像,已经成为研究者们极为关注的问题。图像修复技术通常利用低质量图像及其低质形成原因等信息,即其也称为低质量图像的先验条件,恢复或重建出消除噪声、移除遮挡或补全丢失像素的清晰图像,从而提高图像质量,使其能够应用于后续识别分类、语义理解等场景中。针对小样本、单样本图像数据的退化过程、对
近年来,受益于互联网和智能终端设备的迅速发展,各种应用不断涌现,但同时也带来了数据的爆炸式增长。为解决互联网上的信息过载的问题,推荐系统被提出并进一步推动了各类电商服务平台的创新和应用。为了使用户更好地理解推荐模型和结果,可解释性推荐正逐渐成为推荐系统研究领域的热点。在可解释推荐系统中,推荐模型不仅给出推荐列表,同时对推荐结果进行解释。基于此背景,本文尝试在深度学习技术中,首先利用层次注意力网络充分提取文本特征,以获得精准的用户和物品的表示。然后利用注意力网络和门控循环单元来融合显式特征和隐式特征,为推荐
随着智能手机和移动应用技术的发展,活动社交网络越来越流行。在ENSN中,人们可以在线上提前发布组织、线下参加各类活动。然而,由于人们可以自由地在线点击加入活动,其实际线下出席行为通常与线上有所不同。因此,如何对活动的实际出席情况进行准确预测,对活动组织者及活动开展具有重要的指导意义。
  已有的活动社交网络中进行出席预测的研究存在着如下几个问题。1.特定活动的预测精确度低,例如室外活动;2.忽视了活动本身之外的相关因素,例如活动举行当天的天气因素;3.部分活动内部因素尚未挖掘,影响人们出席活动的因素
许多现实生活中的应用都受到类不平衡问题的困扰,如医疗诊断和金融危机预测。在这些应用中,目标往往是代表性不足的类别。然而,经典的分类模型考虑的是类别平衡的情景,如决策树模型和贝叶斯模型,将这些模型应用于类别不平衡的场景会导致结果出现偏斜。现有的研究主要关注于二类不平衡问题,但与两类情况相比,多类不平衡问题要困难得多,这是由于决策边界涉及到多个类之间的区分。大量针对二类不平衡问题的解决方案并无法直接应
时序预测是深度学习应用领域研究中的热点问题。捕捉时序数据间复杂的关联特性是实现精准预测的关键。目前研究未能针对性给出以下问题的解决方法。具体的,如何处理数据集上多个非预测时间序列在不同时间阶段对目标序列产生的不同程度的影响;时序数据中蕴含的突变现象会显著的影响标签序列的变化规律,如何通过预测方法学习到历史数据中的这些信息。在先前多数研究中,通常仅从神经网络模型角度设计预测方法,而目标函数和优化算法中完全忽略了随时间变化的信息。
  本文从时序预测的目标函数、神经网络模型和帮助模型在迭代训练中收敛的优