【摘 要】
:
中文文本检错是自然语言处理的一项重要任务,具有广泛的应用场景和重要价值。随着文本量的急剧增加,单纯依靠人工进行错误检查费时费力且效率低,研究者开始采用深度学习技术进行文本检错并取得了良好效果,但目前的研究多集中在针对待检错文本的特点设计高性能检错模型,通过增加模型复杂度,采用大量数据来驱动模型性能的提升,忽视了知识在提升模型性能中的潜在作用。本文针对上述问题,以拆字知识和义原知识为基础,研究外部知
论文部分内容阅读
中文文本检错是自然语言处理的一项重要任务,具有广泛的应用场景和重要价值。随着文本量的急剧增加,单纯依靠人工进行错误检查费时费力且效率低,研究者开始采用深度学习技术进行文本检错并取得了良好效果,但目前的研究多集中在针对待检错文本的特点设计高性能检错模型,通过增加模型复杂度,采用大量数据来驱动模型性能的提升,忽视了知识在提升模型性能中的潜在作用。本文针对上述问题,以拆字知识和义原知识为基础,研究外部知识与模型的融合方法,通过引入外部知识来提高模型检错性能。本文重点研究了以下两方面内容:(1)提出了针对LSTM模型的知识融合方法,使用拆字和义原外部知识辅助模型检错。在模型的输入端使用Lattice结构,将文本字符的拆字知识和分词的义原知识输入模型,其中拆字知识能够体现字符在聚类特征下的差异化,义原能够增强词语的语义表示,模型利用平均化策略对两种知识进一步融合,共同用于模型检错。(2)提出了针对Transformer模型的知识融合方法,使用拆字和义原外部知识构建知识矩阵引导模型检错。由于LSTM对词语间依赖关系的表示能力较弱,选取以注意力机制为核心的Transformer模型替代LSTM进行检错。模型首先构建基于拆字和义原的外部知识矩阵,通过对注意力机制的改进,将外部知识融合到模型的核心结构中,共同用于模型检错。在Tencent及Sighan-2015数据集上的实验表明,融合外部知识的LSTM和Transformer模型能有效提升模型的检错性能。融合拆字和义原外部知识后,LSTM模型检错综合效果提升了4.81%,Transformer模型检错综合效果提升了4.39%。通过用例分析发现,拆字知识由于抽取了字符的字形结构,使得模型对字形相近的错误字符较为敏感,检测效果较好;义原知识通过一组有限词语的集合对其他词语进行表示,从而增强词语的语义表示能力,强化了模型的检错能力。
其他文献
随着集成电路产业的飞速发展,半导体器件的先进工艺节点已到达5nm,为抑制由半导体器件尺寸微缩所产生的短沟道效应,器件结构从传统的平面设计向着三维的Fin FET器件以及纳米环栅器件等结构发展。另外,绝缘体上硅结构器件以及新材料(比如:低导热率的Si Ge等)也已被引入到了传统的硅基MOS器件中。但是,在器件性能提升的同时,由于密集热产生、热扩散低效等问题引起了更多的可靠性挑战。自热效应的研究对器件
面对互联网发展过程中快速增长的信息,人们可以比以前更方便的接触到各类信息和知识,但是海量的数据也给当前的问答系统带来了挑战,如何快速准确获取有价值的信息成为了当前研究的重点。本文主要研究问答系统中的答案选择任务,任务的关键是计算问题句和候选答案句之间的语义相似度,从而筛选出最符合问题的答案。为了解决以往模型中存在的问答句语义交互较弱和背景信息不足的问题,本文在以BERT模型为基础的深度学习模型上进
随着物联网技术的快速发展和物联网设备的不断增多,网络中的业务种类也越来越丰富,各类业务产生的大量数据流量也随之而来,而不同的物联网设备产生的业务流量对网络的底层资源有着不同的需求,业务流种类和数量的剧增为物联网的管理与用户服务质量的保障带来了巨大的挑战。传统网络仅提供尽力而为的服务,利用节点间的跳数作为评价调度路径优劣的标准,导致网络中的资源分配不均,难以满足物联网用户对不同业务的服务质量需求。软
姿态确定是基于载体的运动学模型和多传感器的测量值,计算载体坐标系和参考坐标系之间的转换关系。姿态确定作为导航的核心技术引起了广泛地关注,已经在航空航天等领域得到实际应用。目前研究热点是如何设计高精度、抗干扰的姿态确定方法。针对传统姿态确定方法精度低、抗干扰能力弱等问题,引入自主性强、误差无累计、可提供绝对航向的仿生偏振传感器,与惯性测量单元、磁强计等传感器互补融合,建立仿生偏振组合导航系统。本文分
信用贷款是国家用有偿方式动员和分配资金的重要形式,是发展经济的有力杠杆。信贷业务在银行业务中占据重要地位,尽管欺诈发生的可能性相对较少,但欺诈产生的影响却可能很大,阻碍着国家数字经济的平稳运行。信贷欺诈现象已经成为不容忽视的问题,因此研究及时准确的信贷欺诈检测方法至关重要。信贷欺诈检测属于异常检测的范畴,异常检测的痛点在于可用数据集中缺乏足够的异常样本,即数据集为类不均衡数据。随着基于深度神经网络
随着蓝色经济的发展,海上智能移动终端(如无人巡逻舰、浮标传感器、智能移动设备等)数量呈指数级增加,海上移动终端对计算资源需求不断增加。陆地通信技术的快速发展使人们适应了拥有互联网的生活,在陆地环境中对互联网的高度依赖,促使涉海人员对海洋物联网同样产生高度依赖。海洋物联网利用互联网技术,将智能设备相互联通,构造出一个覆盖海洋环境的物与物互联网络,获取大量海洋数据并进行实时分析处理,实现对海洋设备系统
现今人机交互的工作场景越来越丰富,识别作业者大脑的工作负荷(脑力负荷)水平并做出及时警示,能有效减少意外事故发生率以保证生命安全,并且在一定程度上提高工作效率。心电信号(electrocardiogram,ECG)不能人为地控制和伪造,而且心电信号的采集安全、便宜、无创,并且易于使用,不会影响从事危险工种人员的日常作业。心电信号的自动分析技术是目前脑负荷分类中的一个重要课题,但是由于心电信号的个体
随着大数据时代计算机技术的高速发展,每天都会有海量的数据在互联网中传输,丰富的互联网资源使用户能够获取到大量的信息支持,从而在现实生活中得到极大的便利。然而,当人们面对如此庞大的数据量时,如何迅速得到所需要的信息成为了当前亟待解决的难题。传统的思路是以关键字匹配的信息检索技术进行数据筛选,然而面对数据量的日益膨胀,性能的提升却不尽人意。自动问答系统在语言模型上对问题与答案进行建模,深层次挖掘语义信
在我国总体经济中,畜牧养殖业始终占据着极其重要的位置,尤其在我国北方,畜牧养殖业更是地方经济的支柱性产业。这就势必会对我们生活的环境带来一定的影响。本文将先对畜牧养殖业作一定的概述,然后详细分析畜牧养殖业对环境的各种影响,主要包括空气污染、水污染、土壤污染等。最终,提出相应的对策,希望可以促进畜牧养殖业的可持续发展。
互联网技术的飞速发展使得电子投票的使用日渐广泛。相较于传统投票,电子投票省时省力,节约资源。然而新的技术也面临新的挑战,电子投票在数据传输、信息保护和数据完整性等方面面临的风险要远高于传统投票,投票者不仅担心自己的信息被窃取,也质疑电子投票是否公平公正。而区块链凭借其不可篡改、公开透明和去中心化等特性为电子投票技术带来了新的发展方向。利用区块链技术和零知识证明算法,实现不依赖第三方,保护投票者隐私