中文新词语自动检测研究

被引量 : 16次 | 上传用户:qlj403740087
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会、经济的飞速发展,越来越多的中文新词语出现在人们的生活中。新词语的出现丰富了语言的色彩,同时也给词典编纂、中文自然语言处理等领域带来了挑战。如何寻找新词语成了一个重要的问题。然而目前新词语并没有一个明确的、公认的定义,本文根据词法分析和语言学中对于新词语的定义,将新词语分为命名实体、词形新的词语和意义用法发生变化的已有词语这三大类。本文研究的是对于词形新的词语的自动检测。目前对于词形新的新词语识别研究比较少见。而且现有的研究所寻找的新词语都是限于领域或者是限于新词语的词长。本文提出了一个从Internet采集下来的网页中寻找新词语的方法,目标是从一个整体角度寻找不限词长、不限领域的在指定日期后出现的新词语。根据本文提出的方法实现的整个系统分为三个部分:网页采集、网页分析和新词语查找。在网页分析部分提取网页的内容和日期,对网页内容进行分词,查找重复串,然后将所有的词和串带上日期存入原始信息数据库。在新词语查找中,根据给定的日期将原始信息数据库分成背景数据库和过滤数据库,而后在过滤数据库中进行新词语候选的查找,接着进行自动过滤和词性猜测,得到新词语最终的结果。对于江南时报和人民日报华东新闻的实验表明:新词语查找的精确率在30%-40%,召回率在90%左右。已经应用于《现代汉语新词语信息(电子)词典》的编纂上。
其他文献
本文作为《新中国货币史路》的一部分,着重论述了三个问题: 一、人民币的发行和全国货币的统一。人民币是在解放区不断扩大并且逐步连成一片,财政经济趋于统一的基础上开始发
在哈代全部小说中,作者描写了一个从田园式并带有浪漫色彩的爱情模式,发展到因现代文明给爱情带来悲剧的过程,但《无名的裘德》是作者对爱情婚姻观点的总结。小说提出了更为激进
文化与经济的结合已成为21世纪最引人注目的现象之一,各国的实践表明,文化是推动经济快速发展的重要因素之一。中国正处于文化产业发展的初始阶段,由于长期的计划体制束缚,中
本文以欧姆龙公司的CJ1G中型PLC为例,介绍了欧姆龙HostLink即上位链接协议,详细的讨论了基于HostLink即上位链接协议的PLC与计算机通信的原理、上位链接命令和用VB如何实现PL
严格执行党风廉政建设责任制,是强化反腐败体制机制创新和制度保障的重要举措。反腐败体制机制改革创新,一个很重要的方面,就是理清责任、落实责任。落实党风廉政建设主体责
目的探讨早期康复护理对ICU脑血管意外患者的影响。方法选取2016年07月~2017年07月我院ICU收治的脑血管意外患者58例作为研究对象,通过电脑随机的方式将其平分为常规组与研究
电压源换流器型高压直流(VSC-HVDC)输电控制系统复杂,故障承受能力差,线路保护装置动作正确率不高。文中提出了一种利用模量模型识别的VSC-HVDC输电线路纵联保护新原理。该原
新的课程改革是一场教育观念的更新,我们认识到美术教育在提高和完善人的素质方面所具有的独特作用。新课程基本理念之一“美术课程具有人文性质”,美术学习绝不仅仅是一种单
中华民族创造了灿烂的古代文明,文言文是打开这个宝藏的钥匙。培养学生对文言文的兴趣,帮助学生掌握一定的文言文阅读技巧,以便日后能借助工具书独立地继续深入地学习文言文,进而
魏晋文学大师刘义庆的笔记小说《世说新语》对后代产生了极大影响。从体例来看 ,对清初沈复《浮生六记》的影响就很深。《浮生六记》在继承学习前人的同时 ,能够有所发展、创