基于多任务的生物医学问题蕴含识别研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:leoling819
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的普及和生物领域的高速发展,生物医学领域文献的增长呈现指数级。如何从海量数据中快速高效地获取生物医学知识,这就涉及到信息抽取技术。问题蕴含识别是信息抽取的重要任务,旨在识别问题文本对之间的蕴含关系。在生物医学领域中,问题蕴含识别在信息检索和问题回答系统中有着重要的应用。本文主要针对生物医学问题对进行蕴含关系识别。主要研究内容如下:研究基于多任务的生物医学问题蕴含识别。生物医学领域存在大量问答任务语料,合理利用这些语料能够有效的辅助生物医学问题蕴含识别性能。首先,利用共享的BioBERT模型学习获得问答句子对和问题蕴含识别句子对的上下文词表示。然后,构建基于多任务的问答句子对语义表示和问题蕴含句子对语义表示,用于两个任务的分类。深入探究不同的神经网络模型对问题表示学习性能的影响。实验表明,通过与生物医学问答任务表示共享,多任务学习能够有效提高生物医学问题蕴含识别性能。研究基于问题类型特征的生物医学问题蕴含识别。同一类型的问题才存在蕴含关系,问题类型特征对问题蕴含识别具有辅助作用。首先,基于BioBERT模型训练获得问题类型分类教师模型。然后利用教师模型的预测概率分布表示指导基于问题类型模板的问题类型分类学生模型,使学生模型能够同时获得教师模型的预训练语言知识和学生模型自身的模板知识。最后,基于学生模型获得问题类型表示,辅助基于多任务的问题蕴含识别。实验表明,教师-学生模型能够融合教师模型的预训练语言知识和学生模型的模板知识,有效地提高生物医学问题蕴含识别性能。研究基于单代长短时知识蒸馏的生物医学问题蕴含识别。单代知识蒸馏能够利用模型自身前期学习到的知识高质量地指导模型后期的学习。在问题蕴含识别模型训练过程中,基于每一个epoch训练得到问题蕴含识别模型作为短时教师模型,利用预测概率分布表示指导下一个epoch的学习。同时,将多轮连续epoch聚合成不相交的子代(mini-generation),基于每一个mini-generation训练得到问题蕴含识别模型作为长时教师模型,利用预测概率分布表示指导下一个mini-generation的学习。实验表明,单代长短时知识蒸馏学习策略能够有效利用模型已学到的先验知识,指导模型自身的学习,进一步提高生物医学问题蕴含识别性能。本文研究在实现较高的生物医学问题蕴含识别性能基础上,还可以扩展到通用领域的文本蕴含识别任务中,具有领域普适性。
其他文献
随着经济发展速度的进一步加快,中小企业在发展的过程中对融资效率的重视程度有所提升,参与研究融资效率的专家也逐渐增多。但中国与西方国家不同,在发展资本市场的过程中起
近两年提出的CornerNet与CenterNet等无锚框一阶段目标检测方法,因为具有模型简单和一个真值对应一个正样本的特点受到关注.但由于正负样本与难易分样本不均衡和多个头部网络
当学生对新知识的理解与科学概念不一致时,会出现对概念的误解,称为“misconception”,或“迷思概念”。迷思概念的隐藏性和顽固性,导致学生对概念的认知总是出错。通过概念
研究政策过程是考察我国政府内部运作逻辑的重要窗口,有利于政府服务能力和治理能力的提升。政策过程中,由于部分环节是在政府内部进行,公众并不能直接观察、了解其内部结构
随着信息技术在人们日常生活中的广泛应用,文本信息正以指数形式增长,如何对海量文本信息进行有效管理,进而快速了解文本信息的价值成为了研究的焦点。其中,文本表示和文本分
干净的图像可以为视频监控、目标追踪、目标检测、自动驾驶提供有保证的输入信号,保证这些任务可以正常运行。然而,雨是日常生活中常见的天气,在雨天拍摄的图像严重降低了视
“一花一世界,一叶一追寻”,在中国古代文学中,浪漫多愁的文人墨客总会在植物身上埋藏下自己当时的情思,赋予植物很多象征意义,因此书中花叶总有情。清代文学家张潮在《幽梦
随着移动互联网、人工智能等新技术的发展,如何安全、高效地对用户身份进行认证已变得日益重要。现有的移动端身份认证方法,如基于口令,指纹和人脸的身份认证,均属于一次身份验证方法。这些认证方法只在登录时认证一次用户身份,无法在用户后续访问期间提供连续认证。持续认证方法能够对用户身份进行持续地认证,能够有效地解决上述安全隐患。本文提出了两种持续认证方法,为满足用户在线认证需求,我们提出了基于长短记忆网络的
土地是人类生活的空间和载体,是生产发展的基本和源泉。我国城镇化的快速发展需要进行土地扩张,在城市土地资源供不应求的情况下,部分乡村建设用地由于缺乏约束机制出现土地粗放利用的问题。为确保常态有序地管理用地,昭化区在各乡镇开展城乡建设用地增减挂钩项目工作。本文通过对昭化区虎跳镇城乡建设用地增减挂钩土地整理项目的实际情况调研,同时借鉴国内外土地复垦适宜性评价研究成果,以第二次全国土地调查数据为基础,对虎
随着科技的发展,人们对天线辐射性能的要求越来越高,这种要求不仅体现在军事上也体现在我们的日常生活之中。目前的多波束天线大多数通过切换端口来获得多个波束,可以同时产