基于HMM的柯尔克孜语基本词性标注研究

被引量 : 0次 | 上传用户:MAGICDHJ
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
词性标注作为自然语言研究的基础,其正确率将直接影响后续句法分析、信息抽取、机器翻译的研究和应用。研究自然语言处理,首先要解决的问题是词性标注。英文、中文、维吾尔文、哈萨克文等语言在此领域取得了较为显著的成果,然而在现有的成果中对柯尔克孜语词性标注的研究相对较少。因此,建立大规模、带正确标记的柯尔克孜语语料库,完成浅层语法分析中的词性标注,对柯尔克孜语的后续发展具有重要的意义。立足于柯尔克孜语的研究现状,本文设计并实现了基于隐马尔科夫模型的柯尔克孜语基本词性标注系统。系统分为词干提取模块和基本词性标注模块。首先采用基于词典匹配和规则排除歧义的方法,初步完成柯尔克孜语的基本词性标注,将标注好的语料库作为训练语料库;其次通过增加前词词性改进二元隐马尔科夫模型,获得词性转移概率矩阵和观察值概率分布矩阵;针对语料库中数据稀疏问题采用Katzs平滑技术对模型参数进行了修正;最后采用VITERBI算法完成柯尔克孜语基本词性标注。为了验证上述研究内容的可行性,在相同规模的语料和不同规模的语料集下,对标准的隐马尔科夫模型和改进后的隐马尔科夫模型进行开放测试和封闭测试比较,测试评价标准采用了兼类词排歧正确率、未登录词标注正确率和词性标注正确率。由于改进的HMM模型获取的上下文信息增多,其标注正确率要高于标准的HMM模型方法,这一点在实验结果中得以证实。
其他文献
随着我国的经济发展,尤其是自改革开放市场经济迅速发展以来,假冒伪劣商品的现象越来越严重且难以治理,并已经成为危害市场秩序的重要因素,而在经济新常态的背景下,良好的市
在密封式流水呼吸室内,对厚颌鲂Megalobrama pellegrini幼鱼在pH值分别为5.5、6.0、6.5、7.0、7.5、8.0和8.5试验用水条件下的耗氧率进行了测定。结果显示:厚颌鲂幼鱼耗氧率
抗日战争全面爆发以后,何其芳于1937年8月从北京回到家乡万县。1937年9月,他应聘到四川省立万县师范学校任教。在完成了一个学期的教学工作以后,他于1938年2月初,离开万县来
俄罗斯经济转型问题研究是一个宏大的学术问题。视角不同,逻辑路线和问题设定将有很大差别。本文主要从制度视角展开对俄罗斯经济转型的路径选择和绩效特征进行概括性分析和
立足于自然资源禀赋优势和比较优势战略,俄罗斯实现了长达7年的经济增长,但产业结构“原料化”问题却始终困扰着俄罗斯。不过伴随着经济的快速增长,俄罗斯产业结构还是出现了
2014年俄罗斯内政平稳,外交恶化,其主要影响因素均与乌克兰危机有关。乌克兰危机爆发后,俄罗斯国内各界团结一致,面对美国、欧盟和北约的制裁压力,采取针锋相对的措施,俄罗斯
当前社区工作者队伍建设的核心在于构建起社区居委会和职业化社区工作者的“选聘分离”的社区管理体制,形成与社会主义市场经济相适应的政社分开、民主参与的基层社区管理新
室内花卉装饰是按照室内环境的特点,利用以室内观叶植物为主的观赏材料,结合人们的生活需要,对使用的器物和场所进行美化装饰。这种装饰需选用适合的花卉材料,配合整个室内环
文章主要是针对液晶电视显示屏的常见故障分析和维修的。本文通过具体的案列,对故障产生的原因以及如何排除故障进行详细的阐述,希望对从事液晶电视故障维修的技术人员有所帮