常用词的兼类自动识别研究

被引量 : 0次 | 上传用户:wwwerroo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在自然语言处理的研究中,汉语语料库的质量具有举足轻重的作用,高质量的语料库对学者们来说越来越重要,这就必须要考虑现代汉语中兼类词的现象。在汉语中,兼类词的数量虽然不多,但兼类现象很复杂,词的兼类问题是一个普遍存在的歧义现象,这给词性标注带来了很大困难,正确识别兼类词的词性是汉语词性标注中最关键的问题之一。在研究虚词用法自动识别的过程中,进一步发现兼类词的正确识别在现代汉语中的重要性,本文使用了基于统计的方法对兼类词进行研究,分别采用基于条件随机场模型、最大熵模型和K近邻算法等方法,对常用的兼类词进行了实验。实验结果表明基于统计的方法在常用词的兼类识别上具有很好的识别效果,可以较好地对兼类词的词性进行识别,并且已经在语料中取得了较高的准确率,但并不是所有的兼类词都可以达到高的识别结果,也存在一些用统计方法识别效果不够理想的词,针对这种个别现象,进一步选择尝试基于规则的识别方法。在统计结果的基础上,本文又针对一些用统计方法识别效果不够好的兼类词考虑基于规则的识别方法,根据它们不同词性的不同特征,抽取其中具有可操作性的判断条件,利用BNF范式对兼类词的词性进行了描述。既根据兼类词本身的特性以及在上下文语境中的特点构建一组规则,然后用标注处理工具在语料上对规则进行测试,找出规则存在的问题,不断修改规则进行反复的测试以提高规则的识别准确率。实验结果表明,基于规则的的识别方法对于一些基于统计方法识别效果较差的词能够得到较好的识别准确率。在文章最后,论文对本文所研究的工作做了总结,并且对下一步要研究的内容进行了展望。
其他文献
高职英语教育的主要任务是培养学生的综合能力,其中跨文化交际能力是综合能力的重要方面,本文结合酒店管理专业英语教学的实践,从教学要求、课程设置、教学模式、教师发展四
随着科技的进步,电子材料尤为引人注目,大大推动了现代科学的发展。半导体材料作为电子材料的代表,它的问世与发展不断的促进人类在各个领域的全面发展,给人们的日常生活带来
《印度之行》是英国导演大卫·里恩的代表作之一,由小说改编而来、严谨的叙事结构、跨洋制作等无不打上了浓厚的大卫·里恩烙印。
随着我国经济的持续发展,人均可支配收入的逐步增加和社会消费水平的不断提高,人们不再像过去那样躲避消费、抑制消费,一股消费主义思潮在社会上也在大学生中蔓延起来。与此
本文将跨文化适应划分为社会文化适应和心理适应两个方面,通过对在京韩国留学生的开放式问卷调查以及个人访谈,证明虽然韩国留学生也会经历由不适到适应的曲折阶段。但几乎所
综艺节目是娱乐节目的一种表现形式,随着社会发展水平的提高,人们的物质生活条件得到了极大改善,与此同时,人们对精神生活的追求开始日趋多元化。丰富多彩的综艺节目给广大受
近年传统CMOS微电子器件的特征尺寸达到~10nm的量级,接近原子的直径级别,导致继续按照Moore定律增加单片集成度的想法遭遇瓶颈,于是寻找替代或超越CMOS技术的新技术成为当务
目的探讨重型颅脑损伤合并创伤性湿肺的死亡原因和防治要点。方法对1998年以来收治的85例重型颅脑损伤合并创伤性湿肺患者的临床资料进行回顾分析。结果 85例患者治愈34例,好
卵巢癌起病隐匿,发现时常为晚期,不能实施理想的肿瘤细胞减灭术,长期化疗也会出现化疗耐药,严重威胁着妇女的生命和健康。近年来卵巢癌的免疫治疗成为备受关注的一种新的辅助治疗
物流产业,伴随着经济的快速发展加之现代科学技术的进步,正在全球范围内迅速发展壮大,逐步成为国民经济中虽是新兴却十分重要的服务部门。从国际视角来看,其发展程度一度被当做了