论文部分内容阅读
语义分析是从非结构化的文本数据中识别出语义的形式化表示,并将其转化为结构化数据的过程。浅层语义解析是由语义分析分解出的、具有通用性的子任务构成。本文围绕如何有效地将非结构化的文本数据转化为结构化数据,依据子任务之间的内在关联性,将浅层语义解析作为一个整体,利用深层神经网络模型进行统计研究。第一,构建了一个理论分析框架。该框架包括三部分。首先,从四个层面对浅层语义解析的内涵进行研究,分三种情形将浅层语义解析统一形式化为序列标注问题,为依据内在关联性进行建模奠定必要条件。其次,以词的分布式假定和多维尺度分析为理论和方法依据,论证了三类词向量模型之间的内在统一性,为有效地利用词向量对浅层语义解析进行建模奠定理论基础。最后,从线性时不变系统理论出发,论证了卷积神经网络模型应用于浅层语义解析的适用性条件,分析研究了长短期记忆人工神经网络模型、注意力机制模型和全局优化机制的理论优势,在此基础上,提出一类适用于浅层语义解析的深层神经网络模型,结合多级标注语料库,对浅层语义解析的模型构建、模型选择以及模型识别等进行了系统性设计。针对模型的参数估计问题,推导出基本模型的梯度计算公式,证明了改进算法的收敛性。第二,从三个方面对分析框架进行了实证和应用研究。首先,利用大规模中文百科语料,对一类词向量模型的效果进行了评估,实证结果表明,在基于可类比性准则构建的测试总体上,模型的识别效果高达89.24%。其次,利用一个多级标注语料库,在对模型组件识别效果进行比较研究的基础上,以谓词-论元结构分析为例,对内在关联性在模型构建过程中的有效性进行了研究,并进一步和其他同类模型进行了比较研究。针对中文语料,和传统模型相比,当不依据内在关联性进行建模时,本文所提的深层神经网络模型在中文测试集上识别效果提升了11.18%;当依据内在关联性进行建模时,仅仅利用到词性分析和命名实体识别两个子任务,在不改变原模型结构的基础上,模型识别效果进一步提升了1.12%。针对英文语料,依据内在关联性构建的模型识别效果也显著优于其他同类模型。这些实证结果说明了利用深层神经网络模型对浅层语义解析进行系统性设计效果的显著性。最后,给出分析框架的两种适用情形,并利用东莞市政府服务热线工单验证了基于深层神经网络模型的浅层语义解析的实用性和有效性。