基于多知识源的相关词自动识别研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:shirley09liu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
国内外很多学者都在关注相关词自动识别研究,但基本上都是研究基于单一知识源提取相关词,本文则主要探讨基于多知识源的相关词自动识别技术与方法。   识别相关词实质上就是对词汇间关系的判定。不同的知识源从不同侧面反映了词汇关系:大规模语料库是大量真实文本的集合,是词汇的正规应用;释义词典中包含的是词汇的详细定义;而用户日志有了用户的间接参与,反映了用户视角的词汇关系。这三种资源中隐含的词汇关系各有侧重,互补性很强,因此,我们选定它们作为相关词提取知识源。   为了提高相关词识别的准确度和系统效率,我们首先对各种资源进行分词和去停用词处理。现有的分词算法可分为三大类:基于字符串匹配的分词方法,基于理解的分词方法和基于统计的分词方法。实验系统采用了逆向最大匹配分词算法,并在分词的同时过滤掉部分停用词,一定程度上减小了相关词提取过程中的计算量。   比较了几种常用统计量的统计效果,最后选用互信息来衡量大规模语料库中词汇间的相关度。因为大规模语料库的数据量非常大,统计大量词汇在语料库中的共现频次的运行时间过长,为了提高速度,我们建议对语料库建立多级索引并过滤掉频次差别悬殊的词对。在实验系统中,笔者借用北京新星快威数码技术有限公司的DIPS系统,为语料库数据快速建立索引,大大的提高了统计速度。   从词典释义中发现相关词,采用的是向量空间方法。因为词典中词条不全,我们提出为每对词汇依据词汇释义分词结果建立释义空间,用释义空间描述词汇向量,将计算词汇间相关度转化为计算向量间距离。实验结果表明,这种方法能够识别出大部分相关词,但是会漏掉少数释义不一致的同义词,为了解决这个问题,我们建议了两种方法:(1)模式提取;(2)引入大规模语料库中挖掘相关词的互信息方法。   根据用户日志数据的特点,笔者提出把同一IP地址的检索词聚成一条记录,然后将大规模语料库中的相关词挖掘方法移植过来。在最后的相关词整合过程中,因为英文检索日志中发现的相关词不能和中文相关词整合,笔者把从百度和北大天网中提取的相关词,与基于其它知识源提取的相关词整合。   分析实验结果,笔者发现,虽然面向相同的基本词汇集合,但是基于不同知识源提取的相关词之间的重复率很低,各个结果间的互补性很强,因此,结果整合非常有必要。文中提出两种整合途径:直接整合与加权整合。在实验系统中,通过直接整合途径得到了最后的相关词词表。  
其他文献
抽样对比山西省高校2010级、2015级两个年级大一学生的坐位体前屈、立定跳远、一分钟仰卧起坐(女)、引体向上(男)以及800(女)/1000(男)和50跑的成绩,了解学生身体素质状况,为
摘 要:社会经济的快速发展,使社会环境和内容也发生了很大的变化,而环境质量管理体系的发展也需要随着社会环境的变化而进行创新。紧跟发展潮流,引进新的管理理念,创新管理方法,同时实施有效的措施加强环境质量体系的管理。本文主要从当前环境质量管理的现状出发,对环境监测质量管理体系建设与强化作出分析,并提出一些建议,希望能够对有关部门的创新管理起到帮助和引导的作用。  关键词:环境监测;质量管理;创新;策略
  电子商务是经济全球化和贸易自由化的重要手段,也是传统产业变革和企业技术跨越的关键推动力,电子商务系统必将通过多个自治的服务提供商来满足动态开放式环境中的需求,电子
为评价水貂犬瘟热Vero细胞活疫苗(CDV3-CL株,悬浮培养)冻干制剂在临床应用中的安全性和免疫效果,分别在吉林、辽宁两省选择饲养规模相似的3个毛皮兽场进行疫苗安全性(10头份)
运动类APP已经风靡全社会,对于人们体育锻炼行为产生了深远影响.现代奥林匹克之父顾拜旦说:“体育是青年人自我教育的一种方式”.而技校生的课余时间充足,年龄介于16-20岁之
本文在总结前人研究公共图书馆数字资源发展的基础上,展开了对公共图书馆数字资源建设的研究。文中选取了广东省21家地级市公共图书馆为研究对象,采用问卷调查、网上调研和专家
重点研究方向反映了当前科学研究的热点,是科技成果取得重大突破和创新的领域,受到研究者的普遍关注。判别重点研究方向有助于了解科学领域结构特征,把握学科发展态势,为科研管理
目的 检验中文版Hammersmith婴儿神经学检查量表(HINE)婴儿神经学检查量表的信度和效度.方法 将符合《中国脑性瘫痪康复指南(2015)》脑瘫高危儿诊断2月~1岁的59例患儿(胎龄32~3
在印度通关,有哪些通关规定需要进出口商注意,缴纳关税又有哪些规定?在印度,海关的主管部门是海关与消费税中央委员会(Central Board of Excise and Customs,CBEC),隶属于财
  随着信息技术的发展,特别是互联网的普及,人们的生活方式以及工作方式发生了很大变化,相应的消费方式也受到了很大影响,因此,传统的营销策略组合已经难以满足企业在竞争中脱颖