新词识别和热词排名方法研究

被引量 : 0次 | 上传用户:xl122700059
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的发展极大地方便了人们进行信息交换,但海量信息产生的同时也给自然语言处理、词典编纂等带来了挑战。如何从海量信息中挖掘出近期的热点及有用信息已经越来越重要,在这个过程中不可避免的会涉及到新词和热词的挖掘。本文主要研究的是新词识别和热点词语的抽取。目前对于新词的定义还没有统一的说法。本文将新词定义为未登录在词典中的词,并且本文将新词分为时间词和量词、命名实体、普通新词三类。由于普通新词在新词中占的比重最大,所以本文主要的研究对象是普通新词。本文提出了一种统计与规则结合的新词识别方法。该方法从词语紧密度和词语的自由运用度两个方面来考量词语,在统计学中表现为互信息和左右信息熵两个统计量。该方法首先对语料库进行预处理,预处理后使用后缀数组来统计重复串,然后计算重复串的互信息和左右信息熵的值,并用本文提出的Score评价函数进行词语边界确定,得到候选词组;接着使用垃圾词典来过滤噪音串,最后使用基准词典过滤得到新词。本文方法的准确率虽有所降低,但召回率有了很大的提高,其F值平均为70%,相较目前较好的方法提高了1%~5%。此外,本文还对热词的排名进行了研究。本文将基于用户投票的排名方法用于热词排名,通过贝叶斯平均和牛顿冷却定律来量化词语的热度,并通过两个值的优缺点比较,提出了将两个值取权重的方法得到了一种更合理的量化值。本文由此通过热度排行来识别出每日热词。并且本文还提出一种热词评价标准,为目前混乱的网络热词评价标准做了一个初步的统一。实验证明,这种量化方法是可行有效的。
其他文献
【目的】分析引起绝经后子宫内膜出血的原因,探讨多种子宫内膜病理改变与其内膜超声厚度间的关系。【方法】对绝经后子宫出血患者236例行宫颈防癌刮片,B超测量子宫内膜厚度,
压碎值用于衡量石料在逐渐增加的荷载下抵抗压碎的能力,是衡量石料力学性质的一项重要指标。本文首先通过选用料源相同的四档单一粒径9.5mm~13.2mm,13.2mm~16mm,16mm~19mm,19mm~26.5m
目的探讨超声造影(CEUS)鉴别诊断乳腺良恶性肿瘤的应用价值。方法纳入277例乳腺肿瘤患者,均行常规超声(BUS)及CEUS检查,并与病理结果进行对照,对BUS及CEUS各观察指标进行Logi
对于大学生而言,入学之后都需要接受思想政治教育,而这里所提及的朋辈是指辅导员与新生年龄相仿,具有相似或相同的生活方式和价值观经验,他们可以与大学生非常融洽地相处,从
为政之要,贵在得人。作为干部选拔任用工作的基础性环节,干部考察工作的成效,影响和决定着党政人才资源的配置、管理和使用效能。着眼于选出德才兼备、群众公认的各级领导干部,近
本论文是由李和平教授主持的国家自然科学基金“西南山地城镇文化景观演进过程及其动力机制研究(批准号:51178479)”的子课题——西南山地传统商贸城镇文化景观的研究部分。基
作为一种在牲畜之间传播的传染类疾病,牲畜口蹄疫主要是由口蹄疫病毒引起的,猪、羊、牛等动物都是非常容易该病毒。口蹄疫会对牲畜产生很大的影响,如果是恶性的口蹄疫会导致
<正>电学知识是学生感兴趣的知识之一.也是学生难学的误区之一.本文通过对误区进行剖析,标识学习常常出现的困惑,旨在帮助学生真正理解物理规律,掌握学习方法,提高学习质量.
目的 :探讨治疗包皮龟头炎有效、安全药物和方法。方法 :6 0例包皮龟头炎患者采用蛇参合剂外洗。在治疗前后分 3次记录症状、体征积分 ,评价疗效 ,监测不良反应。结果 :治疗
凸透镜成像教学分三步走.先经过实验探究,得出初步的结果;再通过画光路图,从理论角度分析,让认识由感性上升为理性;最后巩固练习,提升思维能力.