论文部分内容阅读
随着社会信息化进程,互联网拥有了海量的数据,处理文本数据的需求日益增多,使得自然语言处理(Natural Language Processing,NLP)成为极具研究价值的领域之一。文本分类作为文本数据挖掘的基础任务,被广泛用于推荐系统、垃圾邮件识别、语音助手等任务。如何构造归纳学习能力强大,同时,兼具可解释性高、适用场景灵活的分类模型,一直是极具挑战的难点。近年来,被认为是解决此难点的途径——神经符号学习,日益成为研究的前沿方向。本文基于公司的研究项目[1],研究升规则系统的方法,项目组出了“神经规则引擎”模型(Neural Rule Engine,NRE)。NRE模型使用的方法对于升级现有的规则系统以及构建不依赖于大量数据的神经规则系统,有很好的应用价值。NRE模型的创新点及主要工作如下:(1)不同于以往的研究者将符号知识引入神经网络,NRE模型采用全新的融合策略——利用神经网络来改善规则的效果,来增强模型的学习能力和可解释性。NRE模型,从所有规则中抽象出统一的基本操作模块,再通过解析器生成模块的执行顺序和参数,最后按顺序执行模块生成输出。(2)对引入神经网络的模块,使用随机窗口和正则匹配,来自动生成模块的训练数据集,从而无需人工构造训练数据。初步模块训练后,通过强化学习,改善模块的训练效果。对于神经网络实现的模块,难以用单独的数字作为输入信息,来代表序列的定点之间的距离信息的难点,采用了带有距离信息的序列,作为网络输入,加以有效解决。(3)解析器采用编码-解码架构,并引入Attention机制,预测模块的生成顺序和参数。在实验中,对于是否采用规则模块化的策略进行对比,实验证明模块化策略对于规则的有效编码十分有效。(4)实验部分,对引入神经网络的四个模块及解析器,都进行了单独模块测试,分析每一个模块加入神经网络对NRE模型的泛化能力的影响大小。在保持较高精确率的前下,NRE的召回率相对于规则系统,在中国犯罪案例分类数据集上,升了19.31%,在英语关系分类数据集SemEval-2010 Task 8上,升了5.32%。实验结果表明,NRE模型可以有效高规则的泛化能力,在显著高召回率的同时,仍然能保持较高的精度。