基于预训练语言模型的生物医学事件抽取方法研究

来源 :武汉科技大学 | 被引量 : 0次 | 上传用户:fencer_2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
研究生物实体之间的复杂关系网络对于揭示生物体的奥秘具有重要作用,而这些知识信息往往存在于生物医学文献中,如何自动从大量文献中挖掘出有用的结构化信息成为一个重要的研究课题。生物医学事件关注生物医学分子的具体表现行为,定义了相对于粗粒度的二元关系来说更加细粒度的复杂关系,对药物研制和疾病预防具有重要意义,生物医学事件抽取逐渐成为研究的热点。生物医学事件抽取的目的在于识别事件触发词及与之相关的要素。近年来生物医学事件抽取获得越来越多的关注,基于规则、传统机器学习和神经网络的方法相继被提出。然而医学事件存在嵌套的现象,加上同一个触发词可能具有多种事件类型,现有方法的事件抽取性能并不是很高。为此,本文将事件抽取分为触发词识别、要素检测和后处理三个阶段,提出新的事件抽取方法。考虑到预训练语言模型可以有效解决一词多义的现象,可以对同一触发词根据不同上下文生成多种语义表示,本文将结合预训练语言模型采用两种不同的方式来实现事件触发词识别。一是用预训练语言模型来提取深层语境词表示,然后将深层语境词表示与传统的预训练词向量组合输入到双向长短时记忆神经网络Bi-LSTM(Bi-directional Long Short-Term Memory)中,再用条件随机场CRF(Conditional Random Fields)进行标注;二是用预训练语言模型进行微调,可以直接对分类结果进行softmax处理,也可以使用CRF或者Bi LSTM-CRF来标注。完成触发词识别后,接着进行要素检测,本文提出两种多分类模型用于要素检测。一是基于自注意力和实体注意力的要素检测模型,自注意力关注句子中不同的重要部分,自注意力的输出用Bi-LSTM编码,再结合实体注意力,可以充分获取句子的语义信息;二是使用预训练模型编码上下文信息和候选对信息,获得的深层语义信息更加丰富;这些充分或者丰富的语义信息有利于复杂关系的分类。完成触发词识别和要素检测后,本文使用基于规则的后处理方式生成事件,在MLEE数据集上进行实验,表明本文提出的方法有效提升了事件抽取的性能,特别是复杂的嵌套事件的抽取。
其他文献
锦州满族民间刺绣作为民间艺术的重要组成部分,绣品种类丰富多样,风格质朴粗犷,是国家级非物质文化遗产。绣品上各式各样的图案是其艺术价值的具体体现,具有鲜明的艺术特征和深刻的民俗寓意。本论文以锦州满族民间刺绣的图案为研究重点,分析并阐释了其独特的艺术魅力。首先通过研究部分文献资料和传承人的口述,梳理锦州满族民间刺绣的历史渊源,从而厘清其图案从女真缝补衣物功能到现代装饰功能的演变过程。其次分析图案所展现
随着中国城市化建设进程的加快,不同区域之间的城市竞争加剧,地方政府对城市形象的传播越来越重视。城市形象的研究是当下城市管理营销的重要课题。作为江西省的省会城市,南昌城市形象的正向传播,关系着南昌市乃至整个江西省文化旅游产业的发展。随着4G网络的全面普及,5G通讯逐渐投入商用,传统的报刊电视、新闻门户网站难以适应“碎片化”的传播环境,以往“宣讲式”的传播模式逐渐弱化,城市管理者对城市形象的传播渠道和
非富勒烯小分子受体(NF-SMAs)由于具有易调节的吸收光谱和电子能级、良好的活性层形貌、确定的分子结构等优点受到广泛关注。本论文重点介绍了具有稠环核心和非稠环核心的A-D-A
背景改良早期预警评分(Modified early warning score,MEWS)是涵盖体温、心率、呼吸、收缩压、意识的病情评估工具,可通过早期、客观地评估患者病情,有效识别“潜在危重病”患者,降低不良事件发生[1]。英国国家医疗服务体系(National health service,NHS)推荐将MEWS作为医疗机构评估病情的工具,但目前MEWS的相关研究多集中于急诊、重症监护病房(I
食品和饮用水中的微塑料可通过经口暴露进入人体中,对人体肠道产生潜在的健康风险。现有研究表明,微塑料会引起水生生物和小鼠的肠道屏障损伤和炎症反应,并表现出尺寸效应。
质谱分析是一种测量离子质荷比(质量-电荷比)的现代元素分析方法,能够将物质成分按照质荷比的不同进行分离,广泛的应用在物理、化学、天文、生物等科学研究领域。质谱仪由离
复杂零件结构参数的精确测量在工业生产中具有重要意义,采用人工检测零件的成形尺寸不仅效率低而且检测精度不高。为了实现对复杂零件结构参数的在线快速测量。以温度控制器的陶瓷外壳为研究对象,采用机器视觉结合激光辅助的方法,对复杂零件结构参数自动检测系统进行研究和设计。主要研究内容如下:1)零件平面参数测量方法研究。根据零件平面参数测量的基本原理,针对温控器陶瓷壳的结构特征设计了平面尺寸测量方案。采用单相机
随着社会与经济的飞速发展,企业之间竞争的焦点不再是产品的竞争、服务的竞争,而是产业链的竞争。自中粮集团提出全产业链的发展理念并取得明显的成效后,各大龙头企业纷纷效仿,全产业链使得企业各个环节紧密相连,提高企业的创造价值。对于农业产业,全产业链发展模式是农业产业化的创新经营模式,就食用菌产业而言,全产业链发展模式将食用菌的种植、研发、加工到消费等环节串联起来,加强了企业协同效应。全产业链不仅解决食用
中国顺应时代发展,正以崭新的姿态走向世界舞台,伴随国际交流日益频繁,跨文化交流活动也呈现出新的特点,有效沟通成为当今中国应对挑战,抓住机遇的要点。适当把握空间关系有利于规划和创造合理空间,提升空间感受和实现有效沟通,因此翻译与传播阐述空间关系的国外优秀书籍可促进跨文化交际,助推中国与世界对话。本书通过对空间关系与人类感知能力的介绍,运用合理方法以提高空间感受,这一点具有建设性。本报告基于爱德华·霍
本次翻译项目是受出版商委托,选自新疆本土儿童文学作家文昊(于文胜),雨辰(胡震四)合著的绘本《雪莲花动漫城堡》(第二辑)。该绘本中的故事素材丰富,每一个故事都可谓精雕细琢,语言生动简洁,并配以形象有趣的图画,充满童真童趣,深受广大儿童的喜爱,对扶持与推动新疆本土原创儿童文学起到至关重要的作用。考虑到儿童文学翻译的特殊性,读者群大多为儿童,他们的接受能力,认知水平,语言风格的独特性和心理状态与成年人