基于序列生成模型的语法纠错技术研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:atianjun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语法错误纠正是自然语言处理的一项重要任务,具有较高的研究价值和应用前景。近年来随着人工智能的发展,越来越多的自然语言处理任务取得了斐然的成果,而语法错误纠正的研究也凭借深度学习算法的优化以及硬件上的更新取得了显著的进步。在多个语法纠错的评测比赛中,研究人员不断地优化新的方法并取得了不错的效果。但是,在数据方面还是存在重要的问题,严重依赖公开的评测数据集,受限于数据的稀缺导致纠错模型无法突破性能的瓶颈。为了解决数据稀缺,纠错效果不佳等问题,本文工作从语法纠错任务的特性出发,研究针对特定任务的模型优化方法以及数据增强策略,实现纠错性能的有效提升,主要研究内容包括:(1)基于Seq2Seq架构的语法错误纠正模型。该项工作针对现有模型结构的不足引入了能够解决变长文本生成的Seq2Seq架构;提出了一种针对文本序列生成的马尔可夫链过程。进一步通过消融分析以及性能评测的实验,验证了模型各模块对纠错系统的重要作用。(2)基于增强多头注意力的语法错误纠正模型。该项工作利用多头注意力模块替换LSTM神经单元,从而提升了语法纠错模型的并行运算效率;进一步提出了动态残差结构,解决了模型深度引起的梯度消失问题,提升了 Seq2Seq纠错模型的性能;评测结果表明该方法在中文语法错误纠正数据上达到了最优的性能。(3)面向语法错误纠正任务的数据增强方法。该项工作针对语法纠错任务的特点,设计了两种定制化的数据增强策略。其一是基于规则的语料腐化方法,利用插入,删除与替换三种操作构造伪并行语料;其二是基于回译机制的数据增强方法,通过反转数据,训练错误生成模型并结合过滤策略,向单语数据中注入错误噪声扩大数据规模,对语法纠错任务提供了更加丰富的数据资源。(4)基于图神经网络的语法错误检测模型。该项工作从序列标注任务的性质以及图神经网络建模的优势两个角度出发,构建了错误检测模型的基本架构,提出了使用门控图神经网络对错误语句的依存句法树建模的方法,为错误检测提供了重要的信息特征,有效的提高了错误检测的性能。
其他文献
智能终端的普及和软件应用技术的发展促进了国内短视频行业的迅速发展,也引发了许多著作权问题,特别是本文所要研究的合理使用问题,它对短视频行业的良性循环和健康发展具有
目的:大脑吞咽运动皮层的可塑性对中风后吞咽障碍的恢复至关重要。本研究以此为出发点,首先在生理状况下探究人类大脑吞咽功能在运动皮层是否存在偏侧性现象;进而运用电针廉泉(Lianquan,CV23)、风府(Fengfu,GV16)穴来进一步研究对其的作用,为后续研究揭示病理状况下“电针刺激—诱导对侧大脑吞咽运动皮层相应功能区激发—启动功能重组并促进脑可塑性形成”是针灸效应关键机制的科学假说提供一定的生
目的:以三阶梯止痛药物为基础,通过针刺与假针刺的对比,评价针刺改善乳腺癌患者轻中度癌痛的临床疗效和安全性。方法:采用随机对照试验的方法,在广东省中医院招募符合纳入标准的乳腺癌轻中度癌痛的患者60例作为研究对象,运用SPSS 20.0软件包随机将研究对象分为针刺组(30例),假针刺组(30例)。(1)干预方案①基础治疗:针刺组与假针刺组均予三阶梯常规止痛方案作为基础治疗。第一阶梯予非甾体类抗炎药塞来
火力发电厂冷却塔运行噪声高低对发电机组运行的绿色、安全、经济性具有很大的影响。严重影响电厂工作人员以及厂界居民的身心健康、工作效率。因此,研究火力发电厂冷却塔噪声污染的影响,对于合理规划厂区噪声源布置、指导火电机组健康运行、冷却塔降噪与运行成本、优化冷却塔通风条件具有重要的研究意义。论文根据冷却塔运行过程、冷却塔噪声的产生机理,理论分析与图表结合分析了影响冷却塔噪声产生与传播的主要因素及影响规律,
家庭教育作为我国教育体系的重要组成部分,其发展状况不仅对孩子影响深远,而且也直接影响着我国教育的未来。随着国家对家庭教育的不断重视,政府责任越来越成为发展家庭教育事业的关键议题。通过分析德国、美国、日本三个国家的政府在参与家庭教育过程中所承担的责任,结合我国的特点及现状,我们可以认为家庭教育中的政府责任可以涵盖道德责任、法治责任以及政治责任三个方面。具体可以包括:尊重家庭意愿、健全法律法规体系、代
随着社会的发展,越来越多的企业家开始关心内部激励,认为利益的获取不仅可以从外部(客户)得以实现,内部(员工)也可以实现企业利益。前者可以为企业带来直接经济利益,为企业生存、发展积累大量动力,尤其是物质动力。而后者却是企业软实力的一种重要表现——可以为企业带来大量的间接利益和优势。因此,本文以国有Y通讯公司为研究对象,进行研究和分析。首先,阐述本文研究的现实背景与理论意义,针对一线员工激励的重要性和
推荐系统已广泛用于互联网商业平台,为广大用户提供产品或服务等推荐。基于协同过滤的推荐算法因其简便性和实用性而成为推荐系统中主要使用的算法之一。然而,传统的协同过滤推荐算法普遍存在推荐准确度不够、难以拓展问题。为此,本文基于隐式反馈、时间信息以及SVD++模型展开对推荐算法的设计与研究,并应用TensorFlow框架加快算法的收敛速度,减少了迭代时间。本文主要工作和创新点如下:1)提出基于项目隐式反
2013年《公司法》修订确立了注册资本认缴制,公司注册资本最低金额的限制在此次修订中被取消,股东可以自行在公司章程中约定实缴期限和实缴形式,对于股东设立公司带来了极大
根据我国“十三五”规划中推进交通运输低碳发展、实行公共交通优先、加强轨道交通建设的指导思想,以地铁为主体的城市轨道交通成为各大型城市基础设施建设的主力。在高楼林立的城市中心地带修建地铁时,工程师不得不面对地铁区间隧道从既有建筑物的基础下方穿过这一现象。当拟建盾构隧道与既有建筑物的桩基距离过近时,隧道与桩基之间的持力层很容易在桩基荷载作用下发生冲切破坏,不但给新建隧道的施工安全带来重大威胁,甚至有可
自从施密特提出注意假说以来,有意注意对语言学习变得极为重要。注意语言输入能有效促使二语习得的发生。由于学习者的注意力有限,教育工作者迫切需要选择一种有效的方法来吸