基于RNN的多标签多任务学习

来源 :中国石油大学(北京) | 被引量 : 0次 | 上传用户:ZXYCHENLI
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多标签学习是现实中普遍存在的问题。在多标签学习中,一个未知的样例所拥有的类标签数不能预先知道。传统的多标签学习算法把多标签学习任务划分成多个单标签学习任务。但是,这种模型没有考虑不同标签之间的依赖关系,并且这种模型的表达能力也很弱。多任务学习也有重要的研究意义,通常多任务学习比单任务学习表现的更好。本文提出了两种将RNN应用于多标签分类的方法。一种是基于LSTM的RNN多标签分类器,这种模型通过RNN学习出一个样例特征的表示,然后利用这个表示学习多标签向量。另一种是基于注意力机制的RNN多标签分类器,这种模型通过Encoder学习样例特征表示,Decoder每个时刻学习出一个类标签。由于Decoder是RNN结构,这种多标签分类器能有效学习标签之间的依赖关系。Decoder中还使用了注意力机制,这种结构能将类标签和最与其相关的特征属性联系在一起。除了以上两种方法之外,我们还提出了将RNN重复隐藏层用卡尔曼滤波器替代的模型。由于卡尔曼滤波器的滤波功能,这种结构能有效过滤系统噪声。并且这种结构在估计RNN隐藏层状态时加入了系统新息,这使得RNN的信息能够有效的传递。通过对不同数据集实验,结果表明我们的模型能够比现有的多标签分类方法表现的更好。对于多任务学习,本文提出了基于公有和私有特征的RNN多任务学习模型。为了学习公有和私有特征,我们使用两种方法。一种是通过一个基向量将样例映射成两部分信息,一部分是公有信息,另一部分是私有信息。另一种是用RNN学习任务之间的公有特征,然后将公有特征补偿到每个任务的学习中去。实验结果表明,我们的多任务学习模型能够有效学习任务之间的关系。
其他文献
素质教育的推行和教育改革的进展,对课堂构建提出新的具体要求,"构建高效课堂"正是课程改革的重点。现在学校的重点不仅仅在于对学生的学业培养,更重要的是促进学生德智体美
2015年新年前后,教育界最重大的事件莫过于教育部公布了新的高考改革方案,方案引起了社会的广泛关注。作为一个语文教育工作者,自然会思索语文高考在高考改革中的流向,本文是
为了深入贯彻落实中央农村工作会议、全国农业工作会议和中央一号文件精神,以及中央关于机关干部"三深入"的精神,紧紧围绕"两个千方百计、两个努力确保"目标任务,结合"农业科
<正>农村信息化是通讯技术和计算机技术在农村生产、生活和社会管理中普遍应用和推广的过程。近几年来,在省委、省政府的有力领导下,江西省农村信息化建设工作稳扎稳打,取得
移动应用众包测试因众包模式的匿名性和无监督性,使得移动应用测试人员容易对测试任务产生懈怠或有意欺骗行为,致使众包测试质量的下降。针对该问题,提出一种基于模糊数学的移动
<正>间作套种是我国集约栽培精耕细作的传统方法,在南方各地特别是人多地少的地区广泛应用。但是,由于受品种、技术、季节等条件制约,传统的间套种仅局限于种植业,栽培管理粗
放牧干扰是影响草地植物性状的方式之一,植物叶片性状能够客观反映植物对生长环境的适应性.本文以呼伦贝尔克氏针茅草原不同放牧强度的样地为研究区,探讨叶片性状间的相互关
社会记忆与人类社会的生存和发展息息相关,如何正确认识社会记忆的建构是一个重要问题。社交媒体在当下的广泛应用对社会记忆的建构有着深刻影响,笔者从影响社会记忆建构的主
珠海港口经济已经迈向新一轮大发展的新阶段本文分析珠海港生产现状探讨珠海港口发展的方向和策略,强调"十二五"时期珠海港口经济与环境和谐相处,坚持可持续发展的战略目标。
园林空间因植物的四季色彩变化而具有动态美,而植物景观的配色设计是打造园林空间景观多样性的重要环节。植物景观各层次的色系选择、色彩搭配方式及配色比例对景观空间的尺度感、情感氛围等特质产生不同的影响。本研究以具有植物色彩典型代表性的杭州花港观鱼公园为对象,通过公园内不同空间的植物景观组团实地调查,运用Adobe photoshop和colorimpact软件对各植物景观组团的植物色彩属性进行量化提取,