【摘 要】
:
与单任务学习(STL)相比,多任务学习(MTL)通过在多任务模型中的任务之间共享信息以获得了更好的分类器。在多任务学习中,目标任务利用多个非目标任务的训练信号所拥有的相关经验信息来提升模型的泛化效果。在训练过程中,每个任务所携带的数据信息都是关于某一领域的信息,但各任务数据之间有所差别。大多数现有的多任务学习方法在训练过程中仅关注训练任务的相关数据,而忽略了训练任务中其他非相关但可能包含有用信息的
论文部分内容阅读
与单任务学习(STL)相比,多任务学习(MTL)通过在多任务模型中的任务之间共享信息以获得了更好的分类器。在多任务学习中,目标任务利用多个非目标任务的训练信号所拥有的相关经验信息来提升模型的泛化效果。在训练过程中,每个任务所携带的数据信息都是关于某一领域的信息,但各任务数据之间有所差别。大多数现有的多任务学习方法在训练过程中仅关注训练任务的相关数据,而忽略了训练任务中其他非相关但可能包含有用信息的数据。另外,在现实生活中,许多问题的数据集拥有多个标签,大多数用于多任务学习模型训练的数据仅包含正面和负面标签,而那些不属于任何正负标签的数据称为Universum数据。为了进一步提高多任务模型的性能以及数据利用率,我们把Universum数据作为先验知识添加到多任务学习分类器的训练中。本文的主要的研究工作包括:(1)首先对多任务学习的算法进行系统的理论和应用研究,了解、掌握相关理论背景和应用过程,总结其优点及不足。然后,了解Universum学习的理论背景,了解Universum学习所编码的先验知识是如何对模型产生正向作用。(2)为了构建有关多任务分类中数据分布的先验知识,我们将Universum学习纳入多任务学习并提出融合Universum数据的多任务学习方法。提出的模型使用参数将每个任务关联在一起。为了充分利用Universum数据(用于对训练集的先验知识信息进行编码),每个任务都具有对应的Universum数据。然后,我们基于原始数据和Univerusm数据构造一个超平面,并使位于超平面附近的Universum数据获得准确的分类器。(3)将所提出的融合Universum数据的多任务学习支持向量机在20newgroups、reuters-21578、web-kb、Landmine数据集上进行实验。在实验过程中,利用文本提取方法及多种Universum数据构建方法构建实验所需的数据。
其他文献
在中国制造2025计划的推动下,信息物理融合系统(CPS,Cyber-Physical Systems)成为当前智能制造和工业数字化、信息化的重要研究热点。分布式架构的CPS拥有大量异构设备,这些异构设备每时每刻产生大量的时序数据,这些数据通过有线网络、无线网络和本地网关等进行数据传输,如何对它们进行实时采集、传输和监控是关系到企业管理高效性和变化适应性响的关键问题。现有监控系统存在数据采集协议不
知识抽取可以将半结构化和非结构化的文本类数据转化为结构化的数据,为构建知识图谱,问答系统,知识库建立等自然语言处理领域的子任务所使用。而在现实应用中,知识抽取面临许多的挑战,一方面对于中文命名实体识别(NER)任务,只有非常少量的标注数据。中文命名实体识别和汉语分词(CWS)任务有许多相似的词边界。每个任务中也有特定的特性。然而,现有的中文命名实体识别方法要么没有充分利用语料中的词边界信息,要么无
近年来集成电路技术的快速发展,导致电子元件逐渐向微型化,低功耗,智能化方向靠近。对于电子表面贴装行业来说,元件贴装难度也越来越高,贴片机作为表面贴装技术的核心设备,它的贴装效率以及精度要求也更加严格。为了进一步提高贴片机视觉定位算法的精度可靠性,本文通过分析国内外的贴片机发展以及视觉定位算法的研究现状,了解到目前国内定位算法的精度和稳定性较差,容易受到目标环境等干扰。为此本文以提高定位算法的可靠性
随着信息技术的加速发展,信息阻塞也越来越严重,用户对所需信息的需求质量也随之提高,这成为了当下急需解决的问题。随着推荐系统的应运而生,学术界和工业界在此领域也进行了广泛研究。但当前的信息推荐,使各个领域内信息互相匹配且相似的内容与用户所需要的信息内容结果相比还不太理想,且对于推荐给用户所真正需要的资源还需要精准和完善。所以,眼下怎样令用户得到合理化和个性化的资源是推荐算法的主要研究目标。本文针对这
如今人们的生活被互联网包围,网络设备需要不间断地运行以满足终端用户的需求,每时每刻都有大量的数据通过公共和私有网络与网络设备进行交换,但互联网与网络设备的开放连接访问在大多数日常网络活动中带来了网络安全威胁。网络入侵检测系统是一种可靠高效的保障网络安全的技术,但目前的网络入侵检测系统仍存在面对不均衡样本时检测的准确率低误报率高的问题,本文研究的基于神经网络模型的网络入侵检测具有重要的理论意义和应用
真实感流体模拟的目标是获得物理真实、视觉细节丰富的流体动画。欧拉网格法是实现真实感流体模拟的经典方法,并随着近年数据驱动技术的兴起受到进一步重视。然而,欧拉网格法的求解过程存在难以避免的精度损失,造成流体细节丢失,降低了模拟质量,影响模拟流体动画的视觉效果。尽管直接提高模拟分辨率能改善模拟精度,但这同时也引起了计算开销的大幅增长。因此,如何在保证性能的同时,适当补偿求解过程中的精度损失,从而增强模
微纳结构因其优异的性能而具有巨大的应用潜力。微纳米纤维作为众多微纳结构中的一种,可以通过多种工艺制造,其中离心纺丝因其产量大和能耗低等突出的优势吸引了越来越多研究人员的关注。离心纺丝作为一种制造微纳米纤维的新工艺,其工作原理是利用离心力将液态聚合物甩出拉伸细化而形成纤维。本文工作以探索离心纺丝的工艺参数为核心展开,包括装置的研发、工艺参数的探索、应用初探和装置的改进与验证。首先开展的工作是设计并构
作为图像和视频中的主要表现对象,研究让机器自动从图像和视频中识别人体的动作行为,具有非常重要的研究价值,也一直计算机视觉研究领域的热点问题。人体行为识别研究在视频监控、医疗保健、智能家居和人机交互等方面具有广泛的应用前景。人体的动作表现,主要是由骨架和关节点间相互牵引协作共同完成,因此人的骨架关节图中包含丰富的动作特征信息,并且骨架信息对尺度、光照和视角等变化具有很强的鲁棒性。在视频流任务中,时序
随着计算机视觉研究和工业生产技术的发展,现实场景感知技术已经在自动驾驶、室内机器人导航、场景识别等人工智能应用领域中得到广泛使用,其中语义分割技术是现实场景感知的关键步骤,它是指对场景数据进行逐元素的分类。以往的语义分割研究大多是面向图像的,而采用三维扫描设备采集的点云则是继图像视频等数据之后出现的新型数据,其包含更丰富的场景信息,目前面向点云的特征提取和语义分割已成为计算机视觉领域中的研究热点。
现代社会智能化发展飞快,公共场所监控摄像头越来越普及,相应的基于监控视频的行人目标跟踪技术也有着广泛的应用前景。近年来,深度学习迅猛发展,基于深度学习的目标跟踪算法性能也提升了不少,但在实际应用场景下,仍存在着许多挑战。本文对目标跟踪挑战中的相似物干扰以及目标遮挡挑战进行了深入分析,以行人为主要跟踪目标,提出了基于光流预测的孪生网络目标跟踪算法,以解决部分跟踪挑战,进而提升目标跟踪算法的鲁棒性。本