【摘 要】
:
文本校对是文章出版的重要程序,其可以为个人、企业以及政府部门提供文本审查服务,从而保证了发布信息的语法以及语义层面的准确性、真实性,能够防止错误信息的传播。然而,文本校对是一个细致的工作,人工校对往往存在着漏查、效率低、速度慢等问题,因此如何能够自动化地对文本进行语法层面以及语义层面的校对是一个重要研究问题。 本文针对英文文本自动校对中的两个核心任务,语法改错任务以及事实验证任务,进行了研究并利
论文部分内容阅读
文本校对是文章出版的重要程序,其可以为个人、企业以及政府部门提供文本审查服务,从而保证了发布信息的语法以及语义层面的准确性、真实性,能够防止错误信息的传播。然而,文本校对是一个细致的工作,人工校对往往存在着漏查、效率低、速度慢等问题,因此如何能够自动化地对文本进行语法层面以及语义层面的校对是一个重要研究问题。 本文针对英文文本自动校对中的两个核心任务,语法改错任务以及事实验证任务,进行了研究并利用预训练语言模型实现了对文本的自动化校对。本文通过融合诸如语言知识、世界知识以及领域知识等富信息,进一步辅助文本校对模型对文本的语法以及事实层面的错误进行检查。本文针对融合富信息的文本自动校对任务中的缺点和不足,系统性地进行了如下四个工作。 针对在英文语法错误检查中缺乏语法校对证据的问题,本文首先讨论了语法改错算法的框架和语法改错证据获取方法。该工作对比了通用语言模型预训练方法以及不同的面向语法改错场景的语言模型预训练策略,确定了对语法改错模型最优的预训练策略。此外,该工作通过对包含噪音的训练语料库进行筛选,进一步提升了语法改错模型的性能。最后,本工作利用训练好的语法改错模型通过柱搜索解码为语法错误检查模型提供若干个可能的语法改错结果。这些语法改错结果对可能出现语法错误的位置起到提示作用,进一步辅助语法错误检查模型。 为了能够融合来自语法改错模型、世界知识库以及领域知识库的文本校对证据来辅助文本进行错误检查,本文针对于语法错误检查以及事实验证两个任务,分别提出了融合多语法改错证据的英文语法校对模型以及融合多事实证据的细粒度联合推理的事实验证模型。两个模型分别考虑了语法错误检查以及事实验证任务的特点,通过不同的证据抽取机制得到语法和语义校对线索,进而辅助预训练语言模型进行文本错误检查。此外我们的语法错误检查模型可以进一步通过对语法改错结果进行质量评估来提升语法改错效果。 为了解决在专业领域下的文本事实验证问题,本文提出了面向专业领域的事实验证模型,以此来增强语言模型对专业领域中文本的理解能力。该方法设计了两种不同的语言模型继续训练机制,从而帮助语言模型学习专业领域中专有名词的语义信息,进一步提升了事实验证模型在面向专业领域的事实验证效果。
其他文献
背景:环状RNA(circular RNA,circRNA)是一类具有闭合环状结构的非编码RNA(non-codingRNA,ncRNA),在真核生物中有着丰富的表达,其生成机制、生物学作用以及与疾病的关系成为近几年研究的热点。circRNA主要产生于外显子的反向剪接,并且会与线性RNA的形成起到相互竞争的关系。目前研究显示,circRNA在调控miRNA表达、基因转录以及蛋白质翻译等多个生物学过
目的:在肺癌分子靶向治疗中,通过抑制癌基因诱导肺癌细胞死亡信号通路的激活是影响治疗效果的关键因素,在以往的研究中细胞凋亡被认为是最主要的程序性细胞死亡方式。但是,对于那些细胞凋亡的诱导或执行存在缺陷的肿瘤细胞,靶向治疗就会失效,然而其它由靶向药物诱导的程序性死亡方式还没有被系统地研究。本项目聚焦靶向药物诱导肺癌细胞焦亡,研究其作用机制,探索细胞焦亡和细胞凋亡之间的相互作用以及二者的共存性,揭示细胞
研究背景和目的:急性髓系细胞白血病(AML)是一种能发生在各个年龄段具有高异质性和高死亡率的造血干细胞恶性克隆性疾病,AML的发生发展和特定基因与染色体表达异常相关。EVI-1基因位于人类染色体3q26.2,编码的EVI-1蛋白为核转录因子蛋白。EVI-1蛋白作为人类血液系统肿瘤和部分实体瘤的重要调控因子也参与哺乳动物的胚胎发育过程。多项研究表明在大约8%AML患者体内存在EVI-1基因过表达,且
第一部分原发性胆汁性胆管炎患者的肠道菌群改变目的:明确原发性胆汁性胆管炎(PBC)患者肠道菌群结构和功能的改变,研究熊去氧胆酸(UDCA)治疗对PBC患者肠道菌群的影响。方法:收集PBC患者和健康对照的粪便标本,提取细菌DNA,通过16s r RNA测序分析肠道菌群组成。在横断面研究中,共纳入79例未接受过UDCA标准治疗的PBC患者(称之为治疗前PBC患者)和114例健康对照,并按照入组时间将其
随着电力行业的稳步发展,直流电缆运行的电压等级也随之上升。然而由于直流电缆在制作、运输、安装、运行过程中容易发生碰撞等,从而在电缆中形成缺陷,任何微小缺陷经过在较高的直流运行电压下的发展,会损害直流电缆的绝缘情况,甚至造成停电事故,因此微小缺陷对于直流电缆系统的安全稳定运行是非常大的威胁。局部放电可以很大程度反映出电缆设备的绝缘状态,因此研究局放信号的特征提取和缺陷识别的方法具有十分重要的意义。通
计算机技术迅速发展的今天,机器学习在许多领域已经取得了非常优秀的性能表现。虽然新的机器学习算法层出不穷,性能也逐步提升,但是机器学习的成功更多地是依赖大量的高质量标注数据。可是在许多专业的领域,数据或标注样本数据稀少,而数据标注不仅枯燥乏味、消耗时间,还需要大量具有专业领域知识的人力资源,如何在少样本场景下进行深度学习通常不是一项容易的任务。元学习的出现为上述问题的解决寻找新的突破口。元学习希望训
研究目的釉丛蛋白1(Tuftelin1,Tuft1)是一种酸性蛋白,可能参与间充质干细胞及神经细胞的分化,其对乳腺癌及胰腺癌的生长具有促进作用。然而在甲状腺癌中的作用尚未见报。本实验将利用体内外环境探讨Tuft1在甲状腺癌发生发展中的作用机制。研究方法1、分析Tuft1在人甲状腺癌组织标本中的表达水平及与患者预后关系。(1)Western blot及Real-time PCR检测Tuft1在人甲状
随着工业物联网、大数据和人工智能技术的不断发展,传统工业开始向数字化转型和智能化升级,产生了大量数据。基于数据分析完成的智能决策在故障诊断、设备预测性维护等场景中发挥着重要作用。时间序列数据是工业物联网中非常重要的数据类型,时间序列相似性检索是众多分析任务的基础。然而,不同相似性检索场景中的可用信息(如领域知识和语义标注数据)存在较大差别。如何在不同场景下,利用给定的可用信息完成时间序列相似性检索
自20世纪50年代诞生以来,人工智能经历了数次演进。如今,随着基础学科和信息技术的突破,人工智能逐渐成为行业竞争的战场、媒体追逐的风口。政府和投资界也意识到人工智能将引领未来的科技革命和产业变革。随着全球经济结构的转变,我国制造业迫切需要走高质量发展的道路。制造业在我国国民经济中占有重要地位,在如此巨大的经济规模下,“降本增效”必然是制造业实现卓越绩效的必由之路。然而,研究发现,成本粘性在我国企业
本文主要运用了全球价值链的理论框架,探讨全球化语境下电视节目模式产业发展的相关命题。首先,本文从历史的视角梳理了电视节目模式产业发展的过程,并分析了驱动其发展的主要因素,包括国际政治和经济环境的变化、新的传播技术的发展以及跨国集团公司的兴起等。其次,本文系统地分析了节目模式全球价值链在产业和文化维度的结构化特征。在投入-产出结构方面,国际节目模式通过研发-本土发行-本土制作-本土播出-国际发行-海