论文部分内容阅读
自然语言理解是研究计算机如何理解并处理自然语言数据的一门学科,包括机器翻译、文本问答、情感分类等多种子任务。在自然语言处理领域,许多传统的机器学习算法,如支持向量机、高斯混合模型、随机森林等都在此领域得到了有效的应用。近年来,深度学习受到了越来越多的关注,其中深度神经网络得到了较大的发展,并且被成功地应用于自然语言理解、图像处理等多个领域。神经网络是一个由多个神经元(cell)高度联结构成的网络结构。结合自然语言理解中子任务的特点,许多不同类型的神经网络被提出。最近,有部分工作表明引入合适的注意力机制可以大幅提升神经网络的性能,本文将带有注意力机制的神经网络简称为注意力神经网络。与采用均匀注意力的神经网络相比,注意力神经网络允许注意力按需分配到信号的各个部分上。在神经网络中引入注意力机制也很符合人类在解决问题时实际思考的过程。本文主要研究基于多层/分层注意力神经网络的自然语言理解算法,重点关注自然语言理解中的文本问答、文本分类及多域情感分类任务。本文的主要研究内容和创新点概括如下:
(1)针对现有记忆网络DMN在完成文本问答任务时,仅考虑输入事实及问题单一类型交互特征、无法充分模拟输入文本间多种逻辑关联的问题,提出了一种基于双重特征动态记忆网络EnDMN的文本问答方法。在设计的双重特征动态记忆网络EnDMN中,引入全局特征及层级特征提取器,分别提取输入文本的全局特征及层级特征。全局特征体现输入文本的整体含义,层级特征体现输入文本在每一层需要被重点关注的显著特征,同时考虑这两种类型的特征可以从多个角度模拟输入事实及问题间存在的多种逻辑关联。文中在特征提取过程中,通过引入差异化网络层,更有效地提取问题的全局特征及层级特征;在特征生成阶段,采用了能够进一步融合输入时序信息及注意力权重的AttenGRU神经元,以获取更具表达力的特征向量,并最终实现了基于双重特征动态记忆网络EnDMN的文本问答系统。实验结果表明,与其它基于单一特征的动态记忆网络相比,本文基于双重特征动态记忆网络EnDMN 及其文本问答系统,在包含多种文本问答任务的bAbI数据集中,能够获得最优的平均测试准确率。
(2)针对当前注意力神经网络在完成文本分类任务时,存在去除冗余及冲突信息不足的问题,提出了一种基于多层监督注意力神经网络AMMS的文本分类方法。在本文设计的多层监督注意力神经网络AMMS中,直接由上一层的上下文向量与输入文本各时刻隐藏状态的匹配度来生成每一层注意力权重矩阵,并据此生成输入文本在每一层上的特征向量表示。目标函数由所有层级上输入文本特征向量映射为类别标签时对应的损失函数构成(即多层监督),因而能够确保在相关信息中逐步提炼出分类所需典型特征。文中在多层监督注意力神经网络的基础上,实现了基于多层监督注意力神经网络AMMS的文本分类系统。实验结果表明,与其他分层/多层注意力神经网络相比,基于AMMS的分类方法可以在保持与单层注意力神经网络相似计算复杂度的同时,在多个文本分类数据集上获得相似或更优的性能。
(3)针对自注意力神经网络SAN及域注意力神经网络DAM在完成情感分类任务时,SAN无法准确提取域相关情感特征,DAM无法有效处理包含较多噪声信号的长文本及获得域感知的隐藏状态的问题,提出了一种基于协同注意力神经网络CAN的多域情感分类方法。CAN联合了SAN和DAM各自的优势,通过联合使用基于域注意力机制的多域情感分类器与基于自注意力机制的通用情感分类器,分别完成主情感分类及辅助情感分类任务。用于完成辅助情感分类任务的自注意力模块中生成的各时刻的隐藏状态,作为域注意力模块中域子模块和情感子模块的输入信号,促使情感子模块在新的上下文中,有效处理具有较少无关信息的输入信号,并生成用于多域情感分类的域感知隐藏状态。此外,通过与多域情感分类器协同工作,通用情感分类器也能获得有益的输入文本域信息。文中采用协同注意力神经网络CAN,实现了多域情感分类系统。实验结果表明,与其他多域情感分类模型及方法相比,基于协同注意力神经网络CAN的多域情感分类方法,在Amazon英文及JD中文多域情感分析数据集上都能获得最优的整体性能。
(1)针对现有记忆网络DMN在完成文本问答任务时,仅考虑输入事实及问题单一类型交互特征、无法充分模拟输入文本间多种逻辑关联的问题,提出了一种基于双重特征动态记忆网络EnDMN的文本问答方法。在设计的双重特征动态记忆网络EnDMN中,引入全局特征及层级特征提取器,分别提取输入文本的全局特征及层级特征。全局特征体现输入文本的整体含义,层级特征体现输入文本在每一层需要被重点关注的显著特征,同时考虑这两种类型的特征可以从多个角度模拟输入事实及问题间存在的多种逻辑关联。文中在特征提取过程中,通过引入差异化网络层,更有效地提取问题的全局特征及层级特征;在特征生成阶段,采用了能够进一步融合输入时序信息及注意力权重的AttenGRU神经元,以获取更具表达力的特征向量,并最终实现了基于双重特征动态记忆网络EnDMN的文本问答系统。实验结果表明,与其它基于单一特征的动态记忆网络相比,本文基于双重特征动态记忆网络EnDMN 及其文本问答系统,在包含多种文本问答任务的bAbI数据集中,能够获得最优的平均测试准确率。
(2)针对当前注意力神经网络在完成文本分类任务时,存在去除冗余及冲突信息不足的问题,提出了一种基于多层监督注意力神经网络AMMS的文本分类方法。在本文设计的多层监督注意力神经网络AMMS中,直接由上一层的上下文向量与输入文本各时刻隐藏状态的匹配度来生成每一层注意力权重矩阵,并据此生成输入文本在每一层上的特征向量表示。目标函数由所有层级上输入文本特征向量映射为类别标签时对应的损失函数构成(即多层监督),因而能够确保在相关信息中逐步提炼出分类所需典型特征。文中在多层监督注意力神经网络的基础上,实现了基于多层监督注意力神经网络AMMS的文本分类系统。实验结果表明,与其他分层/多层注意力神经网络相比,基于AMMS的分类方法可以在保持与单层注意力神经网络相似计算复杂度的同时,在多个文本分类数据集上获得相似或更优的性能。
(3)针对自注意力神经网络SAN及域注意力神经网络DAM在完成情感分类任务时,SAN无法准确提取域相关情感特征,DAM无法有效处理包含较多噪声信号的长文本及获得域感知的隐藏状态的问题,提出了一种基于协同注意力神经网络CAN的多域情感分类方法。CAN联合了SAN和DAM各自的优势,通过联合使用基于域注意力机制的多域情感分类器与基于自注意力机制的通用情感分类器,分别完成主情感分类及辅助情感分类任务。用于完成辅助情感分类任务的自注意力模块中生成的各时刻的隐藏状态,作为域注意力模块中域子模块和情感子模块的输入信号,促使情感子模块在新的上下文中,有效处理具有较少无关信息的输入信号,并生成用于多域情感分类的域感知隐藏状态。此外,通过与多域情感分类器协同工作,通用情感分类器也能获得有益的输入文本域信息。文中采用协同注意力神经网络CAN,实现了多域情感分类系统。实验结果表明,与其他多域情感分类模型及方法相比,基于协同注意力神经网络CAN的多域情感分类方法,在Amazon英文及JD中文多域情感分析数据集上都能获得最优的整体性能。