【摘 要】
:
科技论文摘要是科技论文重点内容的概括性陈述,承载着丰富的科学知识内容,具有学术化语言表达的特点。当前很多科研情报的研究都是基于科技论文的摘要文本进行挖掘分析。如何提升科技论文摘要文本的挖掘能力是情报学研究中的一个重要问题。预训练语言模型作为自然语言处理研究中的关键组件,能够大幅提升文本挖掘的基础能力。本文尝试构建一种嵌入外部知识内容的科技论文摘要的预训练模型,有效支撑科技论文摘要文本的挖掘应用。本
【机 构】
:
中国科学院大学(中国科学院文献情报中心)
【出 处】
:
中国科学院大学(中国科学院文献情报中心)
论文部分内容阅读
科技论文摘要是科技论文重点内容的概括性陈述,承载着丰富的科学知识内容,具有学术化语言表达的特点。当前很多科研情报的研究都是基于科技论文的摘要文本进行挖掘分析。如何提升科技论文摘要文本的挖掘能力是情报学研究中的一个重要问题。预训练语言模型作为自然语言处理研究中的关键组件,能够大幅提升文本挖掘的基础能力。本文尝试构建一种嵌入外部知识内容的科技论文摘要的预训练模型,有效支撑科技论文摘要文本的挖掘应用。本文在对预训练模型构建等相关研究进行分析的基础上,针对科技论文摘要文本挖掘主要涉及的分类问题(重要句子识别、主题分类等)和序列标注问题(实体识别、关键词识别等)的实际需要,以及科技文献情报机构拥有大量知识资源(如术语表、主题词表)等现实情况,提出了一条在BERT模型基础上采用“继续预训练”方式引入大量科技论文摘要文本对模型完成进一步预训练的方案,并重点进行了两方面的工作:(1)改进预训练目标,以实现对论文摘要知识特征的充分学习;(2)实现预训练模型结构的增广,以有效嵌入语法语义知识内容。在这一方案之下,笔者重点研究了三个关键问题:(1)继续预训练过程中的摘要知识特征学习问题;(2)面向模型结构增广需要的外部知识的嵌入表示问题;(3)模型结构增广中的知识向量的嵌入计算问题。在三个关键问题的解决中,重点开展了三个方面的创新尝试:(1)提出了领域术语词掩盖预测和语步句子预测两个新的预训练目标以实现对论文摘要知识特征的充分学习。(2)提出了联合表征与编码的知识嵌入表示方法分别实现标签类外部知识向量的表征表示和三元组类外部知识向量的编码表示。(3)设计了融合知识向量嵌入计算的模型结构实现对标签类知识向量和三元组类知识向量的嵌入计算。论文以中文医学领域的科技论文摘要为基础语料数据,开展了预训练模型构建实验,并以微调方式在中文医学领域的多个分类任务和序列标注任务数据集上对本文构建的预训练模型的有效性进行验证。实验结果表明,本研究所构建的科技论文摘要预训练模型在语步识别、文献分类、关键词识别和实体识别四个中文医学领域的科技论文摘要挖掘任务数据上相对基线BERT-base模型分别取得了1.4、2.75、4.96和5.1个百分点的效果提升,同时也优于Mac BERT、Med BERT、MC-BERT等几个已有研究中的面向中文及医学文本构建的预训练模型。上述研究表明,本文所构建的面向中文医学领域的科技论文摘要预训练语言模型能够有效提升科技论文摘要文本挖掘中分类问题及序列标注问题的挖掘效果,对后续科技论文摘要文本的分析挖掘相关研究具有应用价值。
其他文献
近年来,智能系统迅猛发展,逐渐成为引领科技进步和带动社会发展的新引擎。作为智能系统的眼睛,视觉感知技术很大程度上决定了智能系统整体的信息获取和智能认知等核心功能的发展水平。为实现智能系统在复杂场景中全面地信息获取和智能认知的能力,多源图像融合技术受到了广泛的关注。其中,红外与可见光图像作为智能系统感知最主要的视觉数据源,在智能系统实现高可信感知任务中发挥着难以替代的作用。红外传感器利用热辐射成像,
阵列天线是实现车辆无线通信系统通信环境和信息交换的必要媒介,在车辆无线通信系统中具有不可替代的作用。由于外界电磁环境的日趋复杂以及阵列天线小型化、集成化要求的不断提高,内外干扰问题已成为制约阵列天线进一步发展的关键技术难题,在车辆无线通信系统中对阵列天线进行有效地内外干扰抑制具有十分重要的研究价值。阵列天线因内外干扰会引起其辐射性能的恶化和抗干扰能力的降低,因此,提升阵列天线本身的辐射性能并实现其
为了应对人类可持续发展过程中所面临的日益严峻的资源紧缺和环境污染问题,生物塑料产业得到了广泛关注和长足发展,而生物聚酯是其中的代表性材料。通过共聚合的方法将生物基单体引入聚酯中是最为有效的合成具有定制化性能的生物聚酯的手段。含有脂肪环结构的共聚单体的引入能够在不牺牲材料降解性能的同时提高材料的热性能和机械性能。2,5-四氢呋喃二甲醇(THFDM)作为一种含有醚键和稳定脂肪环结构的生物基单体,其引入
学术影响力的评价在学术研究的传播和发展过程中发挥着非常重要的作用。基于引文分布计算的影响因子是对异构学术网络中实体影响力进行评价的重要指标。然而,影响因子的数值通常会受到社会学和统计因素的共同影响。现有的相关研究主要是基于数据库的统计方法或是对已有的文献网络信息进行对比分析,很难量化和解释社会行为的差异对数据流形结构和节点分布造成的影响。另外,异构学术网络中不同实体层之间的链接关系、交互行为和网络
随着我国工业化和城镇化的推进,石油和天然气资源需求总量日益增长,我国油气管道建设规模正在进一步扩大。然而,随着管道服役期的增加,管道失效事故频发。管道一旦发生失效事故,不但会导致能源损失、财产损失、造成环境污染,更严重的话,还会直接危害到人民的生命安全。因此,针对导致管道失效事故的管道泄漏、管道内部腐蚀和管道变形,这三大主要原因及特点,提出有效的管道内部腐蚀监测方法、管道泄漏监测与定位方法和管道变
催收非法债务罪的保护法益具有复合性,既保护社会公共秩序,又保护个人法益,同时又因此罪对“软暴力”行为进行规制的亮点,在个人法益保护层面又兼具保护实证法益和精神法益的双重性。非法债务不等同于法律不予保护的债务,其应首先具备产生前提即违法性,但高利放贷行为产生的非法债务还应满足债务本身不受法律保护的要求,以及对高利放贷行为的认定,应以实际年利率超过36%为限。
炎症性肠病(inflammatory bowel disease, IBD)是一种具有复杂病因的慢性炎症性肠道疾病,其发病风险因素目前仍不完全清楚。近年来,孟德尔随机化(mendelian randomization, MR)在IBD研究中获得了越来越多关注,MR主要以遗传变异作为工具变量推导暴露与结局的因果关系,有效避免了观察性研究和随机对照试验中混杂因素和反向因果的影响。本综述总结了目前已发表
成人心脏再生能力有限,无法从根本上改善心脏疾病发生后产生的心肌坏死和心室重构。人诱导多能干细胞(Induced pluripotent stem cell,i PSC)是一类具有多向分化潜能的种子细胞,由其衍生的心肌细胞在心脏疾病模型构建、研究致病机理、药物筛选和细胞治疗有广泛的应用前景。但目前体外分化的心肌仍存在着成熟度低且效率不稳定的问题,限制其产业化制备。扩展多能干细胞(Extended p
铃形钟蛛Campanicola campanulata,又称钟巢钟蛛,隶属于蛛形纲(Arachnida)蜘蛛目(Araneae)球蛛科(Theridiidae),广泛分布于我国的浙江、贵州、湖北等省,主要捕食蚂蚁。该种蜘蛛结一种鲜为人知的特殊蛛网:具钟巢状碎屑庇护所(或装饰物)的蛛网(webs with detritus-based,bell-shaped retreats),为了阐述方便,本文统
人民健康是民之根本、国之根基。党的十八大以来,习近平总书记高度重视人民健康,并将其上升为国家战略,对于新形势下如何保障和维护人民健康发表了一系列重要讲话,并作出了全面的工作部署,形成了习近平关于人民健康的重要论述。当前,我国已进入了全面建设社会主义现代化国家,向第二个百年奋斗目标进军的新发展阶段。这一阶段,人的全面发展与社会全面进步成为重要规划目标之一,促进全体人民的共同富裕与全民健康也被置于更加