标签嵌入表示在文本分类任务中的应用

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:qiangchengshimeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代到来,互联网平台产生了大量文本信息资源。这些文本信息资源蕴含了巨大的商业价值,如何有效地组织、管理和挖掘这些信息资源一直是工业界和学术界研究的重要问题。自动文本分类(Automatic Text Classification,ATC)技术被认为是管理这些文本信息资源的重要技术手段。传统的文本分类模型大多使用独热编码(One-hot Coding)方式编码样本标签。该向量表示是一种纯粹的符号表示,本身不具备任何语义信息。在这种情况下,标签信息未能在模型中得到充分利用。为此,研究人员尝试用标签的低维嵌入表示(Label Embedding)来编码标签的语义信息。本文主要研究标签嵌入表示在文本分类任务中的学习和应用问题。文章第一部分工作利用输入文本和标签之间的关联来学习标签的嵌入表示,文章第二部分工作将联合图卷积网络(Graph Convolutional Neural Network,GCN)和标签嵌入来完成文本分类任务。在先前的研究中,标签嵌入学习算法大多利用标签的辅助信息(Side Infor-mation)学习标签嵌入表示,如标签描述文本、标签属性集合等。通常,获取这些标签辅助信息代价昂贵甚至不可行。第一部分工作尝试将语料库中的输入文本作为对应标签的上下文信息来描述标签,然后提出标签分布式假设来建模标签间的显式相关性和隐式相关性。最后,模型将输入文本和标签集合都映射到同一个向量空间中,同时学习输入文本和标签集合的嵌入表示。实验结果表明,模型使用输入文本作为标签的上下文描述能够学习到优质的标签向量表示。近年来,图卷积神经网络在捕捉多个对象的全局相关性上展现出出色性能。我们希望借助图卷积网络来学习标签嵌入表示,并利用标签嵌入表示提高图卷积文本分类网络的分类性能。首先,我们注意到原始的图卷积文本分类网络将语料库中的文本和单词都作为节点组织到同一张网络中学习。这种紧耦合处理方式会导致模型消耗内存过大、无法动态处理新样本等问题,这些问题限制了模型在实际项目中的应用。为此,我们提出松耦合图卷积网络(Loosely Coupled Graph Convolutional Neural Network,LCGCN)模型,该模型通过分解文本分类任务中的依赖关系将语料库组织成核心和次要两个部分,从而使得模型具备高内聚、低耦合的特性。在此基础上,我们通过松耦合图卷积网络学习单词和标签的嵌入表示,并利用标签嵌入表示辅助文本分类任务。实验结果表明我们的松耦合模型能够有效地缓解紧耦合模型存在的问题。另一方面,实验结果还显示使用标签嵌入表示能够在原始模型基础上为模型分类准确率带来大约1个百分点的提升。
其他文献
交通大数据是实现城市智慧交通服务的数据基石,时空轨迹是其中一种重要类型。近年来,得益于移动互联网和定位等技术的广泛普及和成熟,车辆的时空轨迹通过车载GPS设备很容易地
高校思想政治理论课作为大学生接受思想政治教育的主渠道,担负着提高大学生思想道德素质和科学文化素质的时代使命。十八大以来,随着党和国家对高校思想政治理论课建设重视程
我们知道,当电磁波入射至物体表面时,物体通常会反射或散射部分电磁波,这些反射或散射的电磁波能够被眼睛或其它探测器检测到,从而物体被感知其存在,不能被隐身。最近几十年,
四足机器人以四足哺乳动物为模仿对象,重点研究其解剖学结构以及运动机理。随着足式机器人的发展,为了满足四足仿生机器人在真实环境中快速性、灵活性、机动性的要求,急需解
随着计算机技术的发展,智能化成为生活的一种标志,各种智能设备也渐渐应用到人们的日常生活中。计算机视觉在监控系统、导航控制和自动驾驶等领域发挥着重要作用。然而,这些
1995年6月,《全民健身计划纲要》经国务院批准开始在全国范围内实施,此后,各级政府便格外重视对公共体育服务的供给,尤其是在基础设施建设和人才队伍的壮大方面做出了明确的
弹性波全波形反演(Elastic Full Waveform Inversion,EFWI)充分利用记录的地震波形,通过目标函数最小化处理获得接近真实模型的物性参数,可提供高精度的速度模型。随着描述复杂
棉秸秆来源丰富,但应用却非常有限。目前大部分的棉秆都是以焚烧或就地填埋的方式被利用,既浪费资源又会造成环境污染,极其不符合国家大力倡导绿色可持续发展的战略发展观。
磷酸铝分子筛是1982年美国联碳公司发现的一类新型分子筛,被誉为第三代分子筛,常用于催化、裂解、吸附等反应中。APO-11分子筛作为磷酸铝分子筛家族一员,以磷氧四面体和铝氧
随着现代通信技术的不断发展,以及移动设备的爆发式增长,无线网络在当前的通信环境中得到越来越广泛的应用。与此同时,随着个人移动设备的普及,无线网络安全也愈发引起人们的