基于图神经网络的文本分类算法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:jingyu0722
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的迅猛发展产生了大量文本形式的数据,如网页,新闻,论文,邮件,用户评论等。通过挖掘数据隐含的特征,自动对这些数据进行分类,能够辅助人们做出决策,提高工作效率。文本分类任务一直是研究的热点之一,广泛应用于问答系统,推荐,情感分析等任务中。当前,利用深度学习技术进行文本分类已成为一种流行的方法。图神经网络是深度学习模型的一种,它融合了深度学习算法和图算法,能够捕获图中节点之间丰富的关系,保存图的全局结构信息,只需较少的标注数据就能获得不错的效果。但大多数现有的图神经网络模型忽略了输入文档和标签之间的语义关系,对标签信息的利用不充分以及基于图卷积神经网络的文本分类模型忽略了节点之间的差异,不能够提取与节点相关联的重要信息,基于异构图卷积神经网络得到的文档节点表示区分性不够强。针对以上问题,本文提出了一种融合标签和双级注意力机制的异质图卷积模型HGCNLA(Heterogeneous Graph Convolution Network with Incorporating Label and Dual Attention),力图充分利用标签以及节点之间的相关性,并将二者相结合,并使得得到的文档节点表示更具有区分性,以提高图神经网络模型在文本分类任务中的准确率。本文具体工作内容如下:1、针对忽略了输入文档和标签之间的语义关系问题,本文提出了一种融合标签的异质图构建策略。该异质图包含词节点,文档节点,标签节点;对词节点和词节点、词和文档节点、文档节点和文档节点、文档节点和标签节点、标签节点和标签节点建立边。通过异质图来获取文本中蕴含的全局结构信息,以便捕获到文档特征中包含的更多标签信息以及词,文档,标签之间的关系信息。2、针对图卷积神经网络忽略了节点之间的差异问题,引入了双级注意力模块,将异质图与双级注意力机制进行了融合。将文档,词语,标签看作不同类型节点,考虑不同邻居节点的重要性,使用了包含类型级注意力和节点级注意力的双级注意力机制。图卷积神经网络通过类型级注意力来捕获不同类型节点对图中某一节点的重要性,通过节点级注意力来捕获不同邻居节点对图中某一节点的重要性。通过使用包含类型级注意力和节点级注意力的双级注意力机制来捕获任意节点不同类型节点的重要性和任一节点不同邻居节点的重要性。3、针对异构图卷积神经网络得到的文档节点表示区分性不够强问题,为了使得得到的文档节点表示更具有区分性与判别力,用于更准确地对文档进行分类,设计了一种对比损失。对于经过双级注意力后的文档表示与标签表示,以及网络最后输出的文档表示与标签表示分别进行对比损失,使得文档节点表示与它所对应的标签节点表示内积越大,文档节点表示与所有标签节点表示内积越小。从而使得文档与对应的标签更接近,与其他的标签互相分开。4、在四个公开的文本分类数据集上进行了测试,数据集包括新闻分类数据集R8、R52,电影评论数据集MR,医学文献数据集Ohsumed,并且与当前典型的方法TF+IDF+LR、Text CNN、Bi-LSTM、Fast Text、LEAM、Graph-CNN-C、Text GCN,HGAT-C(Heterogeneous Graph Attention for Classification)进行了对比。实验结果表明本文方法在最终分类性能上基本优于对比算法。另外,本文也设置了消融实验验证融合标签的异质图构建策略和异质图与双级注意力模块融合的有效性。
其他文献
语言变异是人们在交际时脱离语言常规的语言形式。近年来语言变异研究引起了越来越多学者的关注,为了探究语言变异研究的趋势,本文通过文献分析法,以有关语言变异的中文文献为研究对象,发现近三年(2018—2020)国内关于语言变异研究的方向包括网络语言变异研究、海外华语研究、方言研究、青少年群体话语研究、文学研究等等,其中网络语言变异引起了更多学者的关注。除此之外,语言变异研究呈现出学科交叉研究的新趋势。
食品安全与人民身心健康、社会经济发展等息息相关,维系食品安全成为安民心、稳经济的重要保障。此背景下,食品安全责任保险作为以维护受害者利益为核心,转移食品安全风险的一项重要举措得到了广泛应用。本文采用文献综述法,首先指出我国当前环境下食品安全形势不容乐观,接着综述了国内外学者对食品安全责任保险的相关研究,旨在厘清食品安全责任保险对食品安全的正向激励作用,然后通过借鉴国外的先进理论和实际做法,针对我国
教育部《中小学生艺术素质测评办法》等相关文件的出台及全国各地艺术素质测评工作的开展,使我国艺术教育在发展环境、实施规范性、发展保障等方面得到改善。实施过程中,也存在认识、执行与方式方法层面的诸多问题。基于此,一方面在艺术素质测评过程中,需遵循引导性、学科性、基础性及实操性等原则;另一方面,需将指标内容与过程性评价、终结性评价、艺术活动评价充分融合。如此才能提升艺术素质测评实效,促进学生艺术素质培育
<正>语文教学中古诗词是必不可少的内容,培养学生的古诗词学习兴趣,有利于学生综合素养的发展。但传统教学中,教师所采取的教学方法较为单一,学生的学习能力难以得到提升,对古诗词中所包含的诗情并不能准确地理解与感悟。当前,随着新课改的逐步深入,小学语文古诗词教学也成为一项重要教学任务,古诗词教学颇受公众关注。因此,教师的教学理念必须做到观念上更新,行动上落实,通过结合所学古诗词以及学生的认知水平,采取有
期刊
在视觉传达中虚拟现实技术是最为重要的技术,对视觉传达效果有极其重要的影响。本文首先介绍了视觉传达设计在日常生活中展现形式的现状,然后分析了在视觉传达设计中虚拟现实技术的运用方法和效果,最后提出了虚拟现实技术引导的视觉传达形式的改善,以供大家参考。
<正>为引导和推动生猪及猪肉生产、流通企业守法经营,维护市场价格秩序及消费者合法权益,配合做好生猪及猪肉保供稳价工作,9月16日下午,国家市场监管总局价监竞争局在京召开生猪及猪肉生产、流通企业价格法规政策提醒告诫会。中国畜牧业协会、12家国内较大的生猪及猪肉生产、流通企业相关负责人参加会议。会议充分肯定了各参会企业在保障生猪及猪肉市场供应等方面作出的努力,提醒告诫经营者要依法诚信经营,加强价格自律
期刊
小班是常规培养的关键期,建立良好的常规显得尤为重要。幼儿从家庭到入园,环境的变化和心理的不适应会造成一定的入园焦虑,而借助直观形象的图标进行小班幼儿的常规培养,取得了较好的成效。对于班级中的各种图标的运用,笔者进行了一定的观察和记录并进行简要的论述。
<正>一、课题提出的背景:21世纪以来,地球气候逐渐恶化,雾霾征象持续增多,以节约资源、保护环境并能可持续发展的发展模式,渐渐成为世界各个国家的的共同理念。然而,由于绿色建筑开发推广的相关群体对绿色建筑的认识还存在着很多盲点,有些人甚至认为绿色建筑就是"奢侈"、"贵"的代表,他们认为绿色建筑是好的,但是从资金投入上边,资金前期投入太高,一时无法很快的完全接受。但是,从经济理念上说,绿色建筑
会议
治安调解是公安机关处理治安案件、解决矛盾纠纷的重要方式,是能够真正化解矛盾、及时减少犯罪诱因、有效节约纠纷化解成本、有利于公民规则意识与契约精神培养的纠纷化解方式。在实践中,治安调解制度面临着调解范围不明确、调解程序启动的不确定性、调解协议缺乏法律效力、调解人员调解能力不高等现实困境。只有科学地确定调解的范围、明确树立调解优先原则、积极赋予调解协议法律效力、创新治安调解模式,才能更好的发挥治安调解
第四次信息技术改变了男女劳动市场的绩效,女性在劳动市场的就业机会、职业选择、收入水平以及福利待遇等方面有了显著提升。文章采用任务模型,利用CGSS2003和CGSS2015跨年度数据,运用Logit回归和OB(Oaxaca-Blinder)分解方法进行反事实构建,检验技术变迁对女性劳动市场绩效的影响。研究发现:女性在劳动市场就业机会提升源于技术变迁偏向于非常规任务的“女性优势”,即技术变迁偏向增加