双字低频未登录词识别研究

来源 :南京师范大学 | 被引量 : 0次 | 上传用户:xiangfeng007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
未登录词是影响中文自动分词精度的最主要原因,低频词是未登录词识别的难点,而双字低频未登录词又是低频未登录词的重要组成。所以,文章着重研究如何高效识别双字低频未登录词,选用多种统计和规则相结合的方法,取得了一定的效果。在识别低频双字未登录词的过程中,为了提高识别效率并对实验结果进行有效统计研究,我们进行前期处理,主要分为三步:一、分词并提取分词碎片。二、识别未登录词中的重要组成——命名实体。三、识别部分多字未登录词。之后我们在所剩碎片中判别低频双字未登录词,采用了多种统计与规则相结合的办法,有互信息、成词非词概率、邻字熵、素性组合。虽然实验结果一般,但在辅助识别、提取新词上依然具有实用的价值,可以为人工识别减轻大量负担。我们在识别过程中发现,词定义的模糊性、语料中分词不一致是双字未登录词难以正确识别的重要原因,因此,我们对此进行了深入的研究,提出了对双字词的新的合理定义。之后,我们自己标注了小型的测试语料,在同样的识别方法下,正确率和召回率都有较大提高。最后我们还提出并实现了一种基于网络的判别方法,对“结合紧密、使用稳定”这一属性进行了量化,该方法在判定双字低频未登录词的实验中表现出色,F值最高达到了86%。可见,使用网络资源可能是提高自动分词、特别是未登录词自动识别效果的突破口。
其他文献
随着云计算的普及,越来越多的用户使用这种按需使用的服务模式解决业务难题。云计算服务提供商帮助用户管理基础设施资源以及调度用户任务运行。调度问题一直是资源管理中的热
目前,城市范围内的大气污染问题以及全球范围内的CO2排放等问题已经引起人们的广泛关注。汽车能源消耗是造成大气污染、全球温室气体排放和全球石油压力的主要原因。目前在世
以蒸发式冷凝器工程应用为前提,同时把握国内外目前研究的水平和高度,从理论研究、实验研究、系统优化与技术创新等方面着手,对蒸发式冷凝器进行性能分析,以达到提高系统换热效率
转喻研究是当今认知语言学的焦点之一。国内外学者对转喻及语法转喻的研究已经取得了丰富的成果。人们对转喻的认识也从一种修辞手段转变为人们思维和行为方式的一种体现。语
我国网络运营商主要包括移动、电信、联通等。这些运营商正在积极进行软交换的实验网的规划和建设,在对电信网络工程建设与运营过程中,软交换技术越来越完善,为我们提供更加
2018年冬供期间,中油国际管道公司输气量约占中国石油天然气管网输送总量的1/4.由于下游用户需求旺盛,在冬供的151天里,中亚天然气管道日输气量将达到1.6×108m3,为该管
将家庭因素融入社会保险,使社会财富再分配考虑家庭因素、惠及家庭成员,应该成为社会保险改革的一项指导原则。家庭劳动供给、家庭生产和劳动供给生命周期等理论为这一原则提
光伏发电技术是一项高新利用新能源技术,受到越来越多国家的重视。当前,光伏发电面临主要问题是效率低下,解决这一问题办法之一是在光伏发电过程中采用最大功率跟踪。光伏系统由
同义词是一种最不易理解的语义关系,人们分别从语言结构,语义成分以及认知等多个角度对它们进行了大量的研究,这些方法各有优点,但是它们都不能真正完整描述同义词间的细微差别。
放置类动词是现代汉语词汇中的一个类义词群,因其在句法语义方面所特有的属性得到语言学界的关注。借鉴前人研究类义词群的方法,对高频单音节放置类动词进行了句法、语义、认知