基于多任务分类的异源文本语义匹配方法

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:babyjl1219
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本语义匹配是文本分析中的一项核心问题,旨在从大量文本中筛选出与指定文本在语义上相近的文本集合。目前已有大量面向同源文本的语义匹配研究,这些研究均建立在大规模匹配数据集的基础之上。但在真实场景下,文本语义匹配任务的研究对象往往是异源文本数据,不仅没有可用的匹配数据集,甚至连不同类型文本之间的样本量也极不均衡,所以无法使用以往的方法进行建模。
  本研究以科技论文和专利两种科技文献为研究对象,针对无匹配数据集的异源文本语义匹配问题提出了一种有效的解决方案:以异源文本中数据样本量充足、分类体系层次特征明显的单源文本数据进行异源文本近似建模:训练基于biLM的动态文本表示;构建文本语义编码模型;利用多任务分类架构学习多层次的语义特征,获取文本语义编码。在此基础上,以编码之间的相似度衡量文本之间的语义匹配程度,实现异源文本的语义匹配。具体而言,主要进行了如下工作:
  (1)详细调研、分析了文本语义匹配的相关研究,归纳出目前的文本语义匹配研究方法;结合异源文本语义匹配的具体问题,指明研究路线,对方法中涉及到的核心技术原理进行梳理。
  (2)结合语义匹配问题,为提高语义匹配性能,对biLM进行改进,提出了高效的动态文本表示模型;在使用动态文本表示的基础上,学习分类体系的特征供语义匹配所用,针对分类体系下的单层子类特征学习问题,设计分类体系特征学习模型,以分类的方式学习分类体系中的知识组织特征;为将多层分类体系特征进行融合,使用多任务分类架构将多个分类树子类特征学习模型进行融合,将多层次分类特征融入模型,生成文本语义编码,以编码的余弦相似度衡量文本之间的语义匹配关系。
  (3)以科技查新中的语义匹配问题为例,展开实验。使用专利文献数据构建动态文本表示,相比其他模型结构困惑度达到最低;分别对IPC分类体系E部下的大类、小类两个知识层次进行分类树子类层特征学习建模,以分类结果衡量模型学习特征的能力,得到准确度为92.74%和87.63%,确认结果达到实用级别;对多个分类树子类特征学习模型进行融合,构建基于多任务分类的科技查新文本语义匹配模型,将多任务模型与单任务模型的精度进行对比,在小类准确率上提高了1.68%,平均准确率达到91.26%;最后,使用真实查新数据进行实证分析,证明研究所提出方法的有效性。
其他文献
科研人员是构成科学研究队伍的基本单位。而随着计算机技术、互联网以及社交媒体的快速发展,学术领域内科研人员的合作与交流也日益频繁,进而产生了论文引文网络、作者引用网络以及作者合作网络等复杂网络。挖掘学术领域中科研人员的社区结构及主题分布,有助于把握特定领域的发展脉络及学科态势,促进科技创新合作。因此,复杂网络中社区发现方法的相关研究在国际科技创新合作的背景下备受关注。  早期学术领域的社区发现方法以
学位
开放科研数据是开放科学背景下,推动科技和社会创新的重要发展条件,受到多方利益相关者的高度重视和积极拓展。科研人员处于开放科研数据实践的关键位置,他们是数据收集、整理、分析、存储和共享的主体。当前,开放科研数据面临着科研人员参与度不高的挑战。如何激励科研人员,将开放科研数据转变为融入科研人员日常科研活动的行为规范,这在讨论相关政策的发展和科研数据管理创新服务时仍有研究的空间。  目前,国内外已有许多
学位
随着信息技术的发展,信息呈现爆炸式增长,信息素质已经成为信息社会公民的一项基本能力。高等教育人才培养目标的变化、“互联网+教育”的驱动,都要求信息素质教育融入新型教学理念和教学技术,创新教学内容和教学形式,提高教学效果。  翻转课堂作为一项新型教学技术,在对学生批判性思维能力、语言表达能力、合作学习能力、创新能力等综合能力的培养,提高学生学习兴趣和主动性,提升教学效果和教学质量等方面作用突出。而且
学位
当前中国正处于全面建成小康社会的决胜阶段,新型城镇化发展遭遇瓶颈。通过培育特色小镇,振兴小城镇经济,提高人民收入和生活水平,能够破解城乡二元化结构,同时推进区域协调发展以及乡村振兴;迈入“十三五”后,中国经济进入从高速增长转为中高速增长的新常态阶段,只有通过产业转型升级才能实现创新发展,特色小镇通过创新创业,使旧有的城镇存量重新散发活力,形成了新产业、新态势,是产业转型升级与发展的新路径。然而,目
学位
本研究以特色科学文化资源为研究对象,以院士信息资源建设为研究主体,以“国内外特色科学文化资源研究综述——调研国内外代表性机构院士信息建设案例,总结院士信息资源建设通用模式——对比国内外代表性机构院士信息建设案例各自优劣势,总结院士信息资源建设优化模式——中国科学院院士文库建设研究及SWOT分析,总结完善院士文库建设的策略——提出对中国图书馆特色科学文化资源可持续建设的建议”为研究主线,将理论与实践
学位
目前科技论文资源的十分巨大,难以处理,如何对海量数据进行分析、挖掘以及有效组织成为了一个难题。识别论文中并列关系知识单元,即对全文中在结构上或内容上呈并列关系的文本以及其描述的知识种类进行识别抽取,不仅能实现科技论文的重点概要预览,同时也可以实现文中核心知识内容的有效组织,为知识组织、知识抽取等工作提供可靠的数据基础。  本研究以科技论文为研究对象,目标是识别并提取单文档中的核心知识内容,利用文本
学位
信息化社会知识爆炸式增长造成了严重的知识分散问题,对决策的效率效果造成了极大影响。知识晶炼理论及其应用可以将分散的知识进行集中,可极大提高和改善决策效率效果。  本文梳理了国内外知识晶炼理论的演化发展,并通过冰山双循环模型的启发,从物理原理这个源头出发结合工作生活事例,探索提出知识晶炼双循环理论。通过对冰山模型的发展分析,原始的冰山模型被引申为胜任力模型等,本文将原始冰山模型进一步细分出正冰山模型
学位
随着大数据时代的到来,科学研究的模式和方法也在不断创新和发展,数据驱动开始成为科研领域重要的研究范式。科技文献作为科研成果发布的重要形式,海量的信息、数据、知识隐藏于科技文献中,面对从大量科技文献中发现有用的信息、知识和数据的挑战,迫切需要自动化的工具和方法帮助人们从文献中快速、准确的获取真正需要的信息;同时,随着众多学科领域综合集成研究方法的应用,基于大量文献中数据和数值信息的综合集成研究不断深
学位
信息技术的日益发展使得包括人文与社会科学领域在内的各个学科的研究资料逐渐被数字化,大量数据库与相关平台得以构建与运营,这极大地方便了研究者从网络上获取研究资料并开展研究,人文学科研究者采用技术手法从大规模的文献资料中发现新的研究问题并取得研究成果,人文学科有向数字人文发展的趋势。在数字学术环境中,人文学者利用数字资源开展研究,图书馆与信息专业人员对数字资源进行分类和组织,对知识进行描述、揭示、存储
在第四范式科研模式下,对科学数据这类已有科研成果的分析和利用,成为实现科技创新的重要途径。在科研大数据的背景下,科研人员对领域知识点的需求也在不断增强。人工智能的发展也是建立在对人类已有知识的学习、利用再创新基础之上。而领域知识图谱是揭示某一领域知识的语义网络,它能够有效支持科研创新、知识点获取和知识推理等。  本文从科研人员的领域知识点需求出发,通过领域知识图谱的构建,获取领域知识点,满足科研人