现代汉语未登录词词类和语义类标注研究

来源 :北京大学 | 被引量 : 0次 | 上传用户:yilishabai123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从理论上讲词是备用单位,因此词的集合应该是一个可以列举的集合,但实际上,有大量的词语没有被现有的词典所收录,各家词典所收录词语的差异也非常大,这意味着对任何一部词典来说都存在着大量的未登录词(未在词典中收录的词)。另外,由于新词语不断产生,未登录词的规模也在不断扩大之中。因此,未登录词处理已经成为自然语言处理中一个亟待解决的问题。未登录词处理主要包括识别、词类标注和语义类标注等内容。目前自然语言处理学界对于未登录词识别研究较多,对于未登录词词类标注和语义类标注则研究较少。因此,本文主要专注于现代汉语未登录词词类标注和语义类标注的研究。在未登录词词类标注和语义类标注过程中主要有两类可以使用的特征,即内部特征和外部特征。所谓内部特征指未登录词的成分、成分的属性以及成分、成分属性的组合序列;所谓外部特征指未登录词在语料中的分布,通常用未登录词的上下文来表示。对于词类问题,语言学界有着比较深入和持久的讨论,目前基本的共识是词类是语法功能(分布)的类,划分词类的主要标准是依据词语的语法功能,也就是词语外部特征。但是自然语言处理学界进行汉语未登录词词类标注主要依据词语构成成分属性与词语整体词类之间的关联关系,也就是词语内部特征。两者在认识上存在较大的分歧。我们需要回答的问题是:外部特征在汉语未登录词类判断中是否有用武之地?对于词义问题,语言学界对于词素义与词义之间的关联关系类型有着比较系统的分析,普遍认为现代汉语中许多词语内部结构与整体的意义存在着密切的联系,而自然语言处理学界进行汉语未登录词语义类标注也主要使用内部特征,两者在认识上基本是一致的。但是在英语研究中并不是这样,自然语言处理学界进行英语未登录词语义类标注时主要使用外部特征,这说明外部特征对于未登录词语义类标注也是很有价值的。因此,英语和汉语在处理未登录词语义类时出现了观点上的分歧。我们同样需要回答一个问题:外部特征在汉语未登录词语义类判断中是否有价值?上述两个问题可以具体化为:从面向计算机的角度看,词的词类、语义类与内部特征关系更密切还是与外部特征之间关系更密切?进一步,如果单独使用外部特征进行未登录词词类标注和语义类标注效果要差于单独使用内部特征,那么两种特征结合是否能够获得优于单独使用内部特征的结果?   本文在前人研究工作的基础上,构建了大规模的生语料库,分别使用基于内部特征和外部特征的方法以及两种特征相结合的方法来自动处理未登录词词类和语义类标注的问题。主要进行了以下工作:⑴将平行原则(陈保亚,1999)具体化和概率化,自动抽取数百条双向平行类推和成对替换类推规则。⑵提出语类(词类和语义类)推导的内外结合原则,以之为指导来进行未登录词词类标注和语义类标注,此原则从理论上讲也适用于未登录词其它属性(比如情感)的标注。⑶提出一个内部特征与外部特征相结合的汉语未登录词词类判断算法、一个基于内部特征的汉语未登录词语义类标注算法、一个结合内部特征与外部特征的汉语未登录词语义类标注算法。⑷使用上述算法进行了语义词典修正和扩充的实验。本研究得到以下结论:①现代汉语未登录词(尤其是复合词)的词类和语义类与内部成分的关联比与外部特征的关系更密切,基于内部特征的方法在进行汉语未登录词词类和语义类标注时能获得优于基于外部特征方法的结果;②虽然基于外部特征的方法表现不如基于内部特征的方法,但是如果能够很好地将内部特征与外部特征方法结合起来,可以获得优于单独使用内部特征方法的结果,其根源在于外部特征具有一定的消解歧义的作用。
其他文献
随着语用学、社会语言学等语言学分支的兴起和发展,语言学研究者们越来越重视社会因素与语言之间的复杂关系,这种复杂关系往往体现在真实会话的案例中,可以通过话语分析等研究手
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
在三四十年代中国现代文坛上,师陀无疑是一个有着自己独特艺术追求和风格的作家。知识分子题材小说在师陀小说创作中,数量足以与其乡土小说相抗衡。每个短篇小说集里都有一两篇
学位
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
在现代汉语中,无生名词作主语的言谈类表达式是一种特殊的句法结构。我们知道,言谈类表达式表达的是一个信息转移的过程,因而在常规的句法表达中,其主语都是由指人名词或代词来充
本论文的研究对象是“百花时代”左翼青年的反官僚主义话语。论文认为当下的各种非历史主义和本质主义的对这段历史的重构都没有看到左翼内部的那种历史的紧张、矛盾和焦虑,从
《春秋》有无例,这是《春秋》学史上聚讼不休的问题,尽管如此,自汉以来,以例说《春秋》就成为研究《春秋》的重要方法。而本文即是从例的角度来认识《春秋》的。   《春秋
纽约学派是指1930年代末期至1950年代中期,一批活跃在美国最重要的文化中心之一纽约、聚集在美国现代文坛影响最大的学术刊物之一《党派评论》周围的文学批评家群体。这些纽
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
谶是中国古代一个很重要的文化现象,历来的典籍记载了大量的谶语,其源头完全可上溯至先秦时期。人们对于谶语,往往指斥其为虚假妖妄,恳切的研究甚鲜,且最早仅及于秦汉,对于先