论文部分内容阅读
语义问题一直是自然语言处理领域的一个难点。近年来,随着深度学习技术的逐渐兴起,越来越多的研究采用深度神经网络对语义相关的问题进行建模。在语义层面上开展研究,能更为有效地解决一些传统统计方法所难以解决的问题,也更为接近人类的语言认知习惯。本文正是在这样的背景下,采用分布式语义表示方法,重点研究中文信息处理中三个与语义相关的具体问题:两岸词汇差异对比、古籍异体字规范化和古籍自动断句。 (1)两岸间存在大量的差异词汇,传统研究多采用手工方法进行整理,本文采用词向量方法在两岸可比语料上自动发现差异词汇。本文首先对语料进行了预处理并抽取多词表示,通过词频分析找出大陆特有词汇和台湾特有词汇,然后采用词向量方法自动抽取两岸同形异义词汇,最后采用词向量方法为两岸特有词汇和同形异义词汇自动发现适当的对应词汇。实验结果表明,本文提出的方法能有效发现传统手工编纂难以发现的两岸差异词汇。 (2)古籍中大量存在的异体字不利于现代人阅读,也不利于古籍信息处理。本文提出了一种基于神经网络语言模型的古籍异体字规范化方法。本文首先进行了古籍语料的预处理,为语料中的PUA编码汉字找到对应的Unicode编码并进行替换,然后实现了一个基于双层GRU的汉字级别的循环神经网络语言模型,最后采用对数线性框架将语言模型和其它统计特征集成到异体字规范化模型中。实验结果表明,该方法能有效利用上下文的语义信息更准确地进行异体字规范化。 (3)古籍大多未进行断句,利用自然语言处理技术进行自动断句,不仅能降低现代人阅读古文的难度,也是进行古籍分词等研究所必要的前序工作。本文提出了一种基于循环神经网络的古籍自动断句方法。该方法采用一种基于GRU的双向循环神经网络进行古籍断句,并在神经网络输出概率的基础上进一步引入解码算法以提高断句准确率。实验结果表明,该方法能有效利用语义信息更准确地进行断句,取得比传统方法更好的断句效果。 综上所述,基于分布式语义表示的方法能更有效利用语义信息,在两岸词汇差异研究和古籍文本处理上取得了比传统方法更好的效果。