论文部分内容阅读
计算机技术发展给人们生活带来了革命性的改变,人们希望能够和计算机更加有效地沟通,因此,自然语言处理技术应运而生。词性标注作为自然语言处理中一个重要的基础性研究课题,具有深刻的意义和广泛的应用。在自然语言处理系统中它通常是作为预处理程序,所以标注的准确性对于后续工作甚至是整个系统都至关重要。因此词性标注必须为后续自然语言处理过程提供高准确率的中间结果。词性作为词汇最重要的属性,是将词汇连接到句法的主要纽带,它能够提供大量有关词汇及其上下文的重要信息。同时也能够提供有关单词发音的信息,这在语音识别的语言模型中是非常有用的。进行过词性标注的文本是自然语言处理最基本的训练语料,如果没有这样语料库的建立,自然语言处理也只能是空谈。目前,词性标注的研究已经基本趋于成熟,主要的标注方法有:基于规则的词性标注方法、基于统计的词性标注方法、规则和统计相结合的方法以及基于转换的错误驱动方法。词性标注的应用也越来越广泛,主要应用于:机器翻译、自动摘要、文本分类、文本校对、语音识别、语音合成、语料库加工、信息检索等领域。本文主要从以下三个方面对词性标注的准确率进行了提高。首先,在传统隐马尔科夫模型的基础上进行了改进,实现了二阶隐马尔科夫模型,使模型能够更好地结合上下文信息,从而提高标注的准确率。其次,由于目前各类平滑算法还缺乏深入的研究及性能分析,因此最佳平滑算法的选取也是一个难题。这里对决定平滑算法效果的因素和它们在哪种情况下效果最好做了说明。并选择最适用于现有模型和训练语料库规模的平滑算法来对数据进行处理。最后,针对词性标注中生词处理算法难以结合到统计模型中的问题,特采用通过求词汇发射概率来对生词问题进行处理的方法,并提出一种针对专业领域文献中高频生词处理的方法。本文使用JAVA在Eclipse开发平台上实现了隐马尔科夫模型模型和本文所提到的改进方法,在英语和汉语两种语料库中进行了测试。实验表明,通过使用二阶隐马尔科夫模型,加入平滑算法以及生词处理算法之后进行词性标注,能够获得更加理想的词性标注效果。同时,通过将高频生词加入到训练语料,也有助于建立更加准确、规范和完善的语料库。