基于N—gram模型的哈萨克词干提取方法

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:lanaya0903
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:哈萨克语是组成结构复杂的黏着性语言,哈萨克语词干提取词缀提取对哈萨克语信息处理领域具有很重要的意义。从哈萨克语粘着性特点出发,哈萨克语词干词缀的构成规则而且和统计模型特点结合,以N-gram语言模型为主框架,根据哈萨克语的构词约束条件,提出了N-gram语言模型的哈萨克词干提取模型。实验结果表明,N-gram语言模型对哈萨克词干的准确提取是有效的,该模型的词干级准确率达到了72.34%。
  关键词:哈萨克语;形态;词干提取;N-gram模型;词缀
  1概述
  哈萨克语属于黏着性语言,根据黏着性语言特点,哈萨克语的构词和形态都是以词根,词干缀接不同的词缀来实验语言功能和语言意义。每个词的组成结构和语法意义的表示都是依赖于不同词缀的连接,因此每个词缀都有着独立的语法意义和结构意义,词缀不仅改变词根的词义,也會改变一个词在整个句子中的作用。每个词干连接不同的词缀,就会产生不同的新词,正确切分哈萨克语词干和词缀能够正确表示其词类词性和语法关系。
  由于哈萨克语中同形异义词数量比较多,对词干的准确提取带来困难,这导致哈萨克语词干提取歧义现象。
  设计并实现一个有效的哈萨克语词干提取是必要的,对哈萨克语信息处理技术具有很重要的意义。在哈萨克语词干提取方面,古丽拉·阿东别克等在2007年提出了哈萨克语词干提取方法,在2008年采取双向全切分方法结合词法分析实现了词干的提取。2011年达吾勒提出了基于规则的哈萨克语词干提取方法。2012年江阿古丽·哈依达尔利用有限状态自动提取哈萨克语单词词干。但目前为止,哈萨克语词干提取研究都是以规则的方法为主,这方法缺少可移植性,无法移植到新的语料,因此本文根据哈萨克语黏着性特点和词干词缀的连接关系,利用统计的方法对哈萨克语单词进行统计和分析,提取了N-gram语言模型为主框架的哈萨克语词干提取方法。
  2哈萨克语词干词缀结构
  2.1哈萨克语词法特点
  哈萨克语属于黏着性语言,構词和构形结构上词根,词干连不同的词缀来形成语法功能和结构功能。通过不同词缀的缀接形成不同的词形和词义。因此每个不同的词缀意味着不同的语法意义。由于哈萨克语有大量的词缀,则形成的单词就不同,因此对哈萨克语来说,正确切分哈萨克语词干和词缀才能够揭示词性和语法的内在关系。
  做哈萨克人名识别实验过程中,意识到词干提取的重要性和必要性,受到提取词干需要大量的时间和精力,因此要研究哈萨克语词干提取很必要。哈萨克词干提取技术处于待研究状态,在机器翻译,信息检索等领域中词干提取技术起很大的作用,因此本文提出基于统计的哈萨克词干提取方法。
  哈萨克语中词与词之间以空格分割,哈萨克单词由词干和附加成分来组成的,附加成分指的是前缀和后缀。哈萨克语单词的形成形式是:Prefix Stem Suffix1 Suffix2 … Suffixn
  Suffix1 Suffix2 … Suffixn为复合词缀,Prefix为前缀,可以看出词干缀接最少一个词缀,最大达到八九个词缀,因此后缀给词干带来很多的变化。哈萨克单词中附加成分的累加体现不同的语法意义和形态。
其他文献
小学英语课堂教学是学生获取知识的主要渠道,如何有效地让学生汲取本课新知,愉快地学习,新知呈现的合理性就变得尤为重要。新知呈现并无固定模式,需要教师根据教材、学生的实
摘 要 网络媒体作为一种虚拟载体,对研究生的生活学习以及思想产生了广泛的影响,也成为了我们研究生思想政治教育工作中的一个新平台,网络媒体是一把“双刃剑”,在给高校思想政治教育带来积极作用的同时,也带来诸多问题。因此,研究生思想政治教育如何在网络媒体时代取得时效亟待探索。  关键词 网络媒体 研究生 思想政治教育  中图分类号:G641 文献标识码:A  截止至2012年12月31日,根据中国互联网
敬爱的编辑:rn您好!如今大部分国产轿车都已装备了安全气囊,我只知道安全气囊会在发生撞车事故时自动弹开.可是我不知道它具体的工作原理及组成.贵刊是一本汽车零部件专业杂
镇海炼化计划修建的低温乙烯运输管线,总长约7650米,连接装卸码头和低温罐区.运输管线的管道外径为325mm、壁厚4.5mm,材质为304碳钢,保温层厚230mm.乙烯运输温度要求范围为-1
王云英,河北邢台人,广东省美术家协会会员,现任深圳市福田区文联副主席。2006年,作品《丰收图》入选广东省第七届美术书法摄影作品联展;2007年,作品《圣洁》被中国美术馆收藏
本文较为全面、系统地介绍了1952-2010年间用蒙古文翻译的中国作家鲁迅的作品及具体的翻译情况。第一部分主要是介绍蒙古国与中国现代文学的交流以及蒙古国翻译鲁迅作品的情
免费供种可上门收购现金结算营业执照注册号:110108018116441组织机构代码证:31814753-9感谢党的好政策,种药材也可以致富铁皮石斛是一种名贵中药材,被列为“中华九大仙草”
期刊
摘 要 随着当今环境问题的日益严重,人们越来越注意到环境保护和节约资源的重要性,绿色设计成为全世界关注的主题。本课题基于绿色设计理念对影响餐具的设计要素进行分析,通过材料工艺,结构造型,装饰方法,包装方法,清洁成本五个方面的分析,深入剖析了绿色设计理念运用的可能性以及形成设计方法的规律性。  关键词 绿色设计 餐具设计 创新要素分析  中图分类号:TB47 文献标识码:A  维克多·帕帕奈克在他的