基于深度学习的关系抽取研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:aaaaaaaazzzz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能的蓬勃发展不仅带来了技术的革新,同时也使得人们每天接触到大量的数据,如何分析和利用这些数据并将相关信息反馈给用户成为一大难题。这些数据中有很大一部分是以文本形式存在的非结构化数据,作为有效处理文本数据的自然语言处理技术,借助机器学习和神经网络等方法进一步理解和分析文本数据,从而提取到有价值的信息。经过近20年的迅速发展与沉淀,自然语言处理的相关技术研究已日趋成熟,而信息抽取技术在该领域中处于基础性且关键性的地位,针对信息抽取的相关研究早已成为该领域的研究热点。本课题正是在这样的研究背景下,针对关系抽取任务进行了专门的研究。借助深度学习的兴起,本文采用近两年处于研究热点的预训练语言模型,在关系抽取任务的数据集上对模型进行微调。本文借用了对比学习的框架,分别利用有监督和少样本关系抽取的数据集生成对应的关系对比样本,并利用交叉熵损失进行训练。本文创新性地提出了融合上下文和实体信息的方法,将模型学习到的表层特征和语义特征融合到一起,提升了关系抽取模型的性能。此外,本文提出了自适应利用预训练模型权重参数的策略,更好的利用了模型中高层的语义信息,进一步提升了关系抽取模型的效果。本文对提出的方法进行了大量的消融实验,并与传统的CNN模型进行对比,实验结果表明,充分的学习到关系语句的上下文信息和实体位置及实体类型的特征信息对于关系抽取模型的效果有一定的提升,有监督任务F1值提升7.87%,少样本任务F1值提升7.52%。针对预训练模型各层参数的重要性程度进行分析,逐个选取BERT模型的各个隐藏层输出作为关系表示进行实验。结果表明预训练模型的高层的语义信息特征对于关系抽取任务有很重要的影响,且表明本文提出的自适应利用预训练模型权重参数的方法可以促进关系抽取效果的提升。
其他文献
硕士学位论文短视频平台中网红信息源可信度对消费者购买意愿的影响研究ResearchontheImpactofInternetCelebritysInformationSourceCredibilityonConsumersPurchaseIntentiononShortVideoPlatform作者:王珊导师:万晓北京交通大学202
学位
目前,我国老龄人口比重上升较快,老年疾病患病群体庞大。面对人口老龄化,老年人群的健康问题更应得以重视和关注。阿尔兹海默症是严重影响各国60岁及以上成年人健康及生活质量的主要疾病之一。其发病机制尚不明确,病理表现包括神经细胞中Tau蛋白过度磷酸化形成的神经原纤维缠结以及细胞外β淀粉样蛋白(Aβ)的异常累积而引起的一种神经退行性疾病,其主要行为特征为认知功能障碍和情绪异
分类号:密级:研究生学位论文论文题目(中文)时尚美妆类微博的传播策略研究论文题目(外文)ResearchonthecommunicationStrategiesoffashioncosmeticsMicroblogs研究生姓名杨舒学科、专业新闻与传播研究方向新闻与传播学位级
学位
烧结高温烟气循环工艺在首钢股份公司360m2烧结机上成功应用后取得了烧结矿返矿率下降6.6%,粉尘排放降低27.30%,SO2减排15.34%的综合效果。本文通过烧结矿分层检测,烧结烟气、粉尘分析等手段实测了该工艺的提质和减排效果,并对其机理进行了分析。根据检测分析结果,烟气循环工艺改善了表层烧结矿的强度和成品率,提升了整体烧结矿的转鼓指数和返矿率指标;该工艺实施后
单位代码:10472学术学位学号:51180202002中图分类号:G646密级:公开硕士学位论文新时代中国特色大学文化建设研究ResearchontheConstructionofUniversityCulturewith
学位
新型冠状病毒肺炎(COVID-19)自2019年12月出现后,迅速在全球流行,演变为全球重大公共卫生问题。新型冠状病毒(SARS-CoV-2)为单股正链核糖核酸(RNA)病毒,自然突变率较高;变异株的出现往往是“变异—选择—适应”的进化产物。此外,炎症状态下激活的APOBEC酶可促进病毒变异。目前发现有公共卫生意义的SARS-CoV-2主要突变株为D614G、B.1
对于煤制油、煤制烯烃和煤制天然气等现代大型煤化工过程,提高全系统能效和经济性具有重要意义。现代大型煤化工系统中,热回收系统和公用工程系统联系紧密,将两者同步优化可有效提高全系统的能量利用效率和经济性。本文提出了分支热回收蒸汽循环超结构,在此基础上建立了可以用于同步优化热回收系统和公用工程系统(HR-UTLS)的通用全局间接热集成模型;采用模拟与优化相结合的方法,对采
《雨巷》是一首非常美的诗歌。读过这首诗的人一定忘不了那悠长又寂寥的雨巷、那结着愁怨的丁香一样的姑娘、那富有古典美的油纸伞整首诗宛如一幅意境唯美的风景画。下面,就让我们一起走进《雨巷》,感受它的美。一、感受美的意境《雨巷》带领读者走进了一个如梦般朦胧的意境。诗中正值江南的梅雨季节,我们看到一个撑着油纸伞的人,在悠长、寂寥的小巷中踽踽独行。他希望逢着/一个丁香一样的
多元智能理论是针对不同学习程度和不同学习方法喜好的学生而提出的,其目的是让每位学生都能够结合自身的优势与偏好,采取不同形式的智能组合方式独特发展。文章基于多元智能理论,以人口迁移为例,进行了高中地理教学案例设计。
安全工器具是供电企业电网日常运维工作中的重要基础资源,通常采用器具室作为管理单位,管理内容包括安全工器具的仓储管理、借出和归还管理等。随着国内电力行业信息化进程的不断发展,针对安全工器具管理业务的信息化,逐步成为国内供电企业的发展趋势。本文设计和实现了一套安全工器具管理系统,为公司的业务管理提供配套的信息化工具支持。系统采用RFID技术、JavaWeb技术、Hybr