论文部分内容阅读
介绍在一种确定语料库中高频生词的处理方法。在分析隐马尔科夫模型在词性标注中的具体实现以及生词问题的关键所在的基础上,结合现有的生词处理方法,通过设定相应的阈值,并结合生词的词性特征,针对英汉生词词性分布的特点,选取生词中更加有价值的高频词加入训练文本,达到完善语料库,提高标注准确率的目的。并对HMM模型和加入生词处理方法之后的模型的标注准确性进行比较。实验表明,上述方法可以有效地选择出某领域具有代表性的高频词,在训练文本中加入这些词,能够较大提高词性标注的准确率,满足了词性标注应用于实际的基本要求。