基于神经网络的模式识别在自然语言处理中的应用

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:liongliong528
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会信息化进程,互联网拥有了海量的数据,处理文本数据的需求日益增多,使得自然语言处理(Natural Language Processing,NLP)成为极具研究价值的领域之一。文本分类作为文本数据挖掘的基础任务,被广泛用于推荐系统、垃圾邮件识别、语音助手等任务。如何构造归纳学习能力强大,同时,兼具可解释性高、适用场景灵活的分类模型,一直是极具挑战的难点。近年来,被认为是解决此难点的途径——神经符号学习,日益成为研究的前沿方向。本文基于公司的研究项目[1],研究升规则系统的方法,项目组出了“神经规则引擎”模型(Neural Rule Engine,NRE)。NRE模型使用的方法对于升级现有的规则系统以及构建不依赖于大量数据的神经规则系统,有很好的应用价值。NRE模型的创新点及主要工作如下:(1)不同于以往的研究者将符号知识引入神经网络,NRE模型采用全新的融合策略——利用神经网络来改善规则的效果,来增强模型的学习能力和可解释性。NRE模型,从所有规则中抽象出统一的基本操作模块,再通过解析器生成模块的执行顺序和参数,最后按顺序执行模块生成输出。(2)对引入神经网络的模块,使用随机窗口和正则匹配,来自动生成模块的训练数据集,从而无需人工构造训练数据。初步模块训练后,通过强化学习,改善模块的训练效果。对于神经网络实现的模块,难以用单独的数字作为输入信息,来代表序列的定点之间的距离信息的难点,采用了带有距离信息的序列,作为网络输入,加以有效解决。(3)解析器采用编码-解码架构,并引入Attention机制,预测模块的生成顺序和参数。在实验中,对于是否采用规则模块化的策略进行对比,实验证明模块化策略对于规则的有效编码十分有效。(4)实验部分,对引入神经网络的四个模块及解析器,都进行了单独模块测试,分析每一个模块加入神经网络对NRE模型的泛化能力的影响大小。在保持较高精确率的前下,NRE的召回率相对于规则系统,在中国犯罪案例分类数据集上,升了19.31%,在英语关系分类数据集SemEval-2010 Task 8上,升了5.32%。实验结果表明,NRE模型可以有效高规则的泛化能力,在显著高召回率的同时,仍然能保持较高的精度。
其他文献
传感器与检测技术在机电一体化系统中有重要作用。分析传感器与检测技术和机电一体化的联系,探讨了其在机电一体化系统中的应用,并对传感器与检测技术的发展方向进行展望。
细胞是生命活动的最基本单位。细胞是微小的,但它又是伟大的。细胞其实是一个和谐社会!为人处事的道理在细胞中比比皆是,沟通技巧、管理艺术……在细胞生命活动中表现得淋漓
利用2006-2009年度,30个省的有色金属冶炼及延压加工业和27个省的有色金属采矿业的面板数据,分析了有色金属产业进入退出的影响因素。结果表明,既有预期利润率、产业销售增长
目的:通过观察热敏灸对自主神经功能的影响,探讨热敏灸治疗冠状动脉粥样硬化型心脏病(冠心病)患者的热敏化腧穴的临床疗效。方法:收集江西中医药大学附属医院2013年6月至2015
以美国为首的北约对南联盟的轰炸,特别是对我驻南使馆的导弹袭击,又一次暴露了美国“民主价值观”的虚伪性和“人道主义干预”的实质。 一、美国“民主价值观”的虚伪性 1.“
<正>《茅盾与中外文化》是中国茅盾研究会第五届(国际)学术讨论会部份论文的结集,是大会编辑组从参加本届会议的五十多篇论文中选出,围绕这次大会中心议题——"茅盾与中外文
会议
2007年《海洋基本法》的出台标志着日本实施海洋战略的一次重大转变。在此框架下,日本于2008年、2013年接连制订了两期《海洋基本计划》,形成了完整的政策体系,在海洋开发、
医学超声成像具有使用方便、价格低廉、无电离辐射等优点,在临床中得到广泛应用。传统的二维超声成像只能显示人体组织的某个横截面信息,医生需凭经验想象组织的三维结构,不
阐述了在普通蝶阀的基础上,加设适当几何结构配流板的方法,使普通蝶阀具有线性流量特性,并用数值模拟计算出阀门的流量特性。然后搭建实验平台,验证了阀门的流量特性,结果表明该流