基于统计的词汇级语义相关计算研究

被引量 : 0次 | 上传用户:weilai0769
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言对象在很多情况下存在着语义上的相关关系,这种相关关系可以使多种研究问题受益,如自然语言处理、信息检索、机器翻译、自动问答,等等。语义相关计算是语义相关关系的量化手段,而语义相关关系的广泛应用对语义相关计算算法在理论上、实践上均提出了挑战,例如语言对象语义的模型化表示、语义相关计算模型的设计、信息来源与特征质量的分析、针对问题场景的特殊形式语义相关性、计算方法的跨语言通用性,等等。本文首先明确了“语义相关”的定义,以统一的数学形式给出了语义相关计算的表示,并提出了研究中面临的三个要点:语义连接的选择、特征映射的设计,以及对比映射的设计。围绕这些要点,本文针对词汇级的语言对象,包括词汇、命名实体,以及网页搜索查询,基于统计方法对语义相关计算问题展开研究。本文的研究工作组织为如下四部分。针对词汇语义相关度计算问题,研究异构特征线索下相关度计算函数的设计问题。使用方式(上下文)上的近似性、语义关系上的关联性均为词汇语义相关度的重要指示。这两类特征线索的形式迥异,为了充分利用其中的指导信息,本文设计了一种语义关系增强的层次化上下文相似度算法,使用上下文相似度量化词汇在语义关系上的关联性,从而将两类特征线索统一起来。实验证明语义关系与上下文相似度的结合可以有效提高语义相关度计算结果与人工评价的一致性,而且本文提出的特征线索融合方法优于简单地叠加异构特征的方法。围绕普通文本上的相关命名实体挖掘问题,研究如何在特定应用场景下有效表示语言对象的语义相关关系。本文提出,命名实体之间的语义相关关系无法脱离其对应的客观世界对象之间的关联关系。本文通过考察命名实体的篇章级共现现象,量化了命名实体在事件中的语义互动强度。辅以上下文的相似度,以及行文上的近邻度等特征,基于篇章级共现的相关命名实体挖掘结果在质量上好于基于关系抽取的挖掘结果。在知识库支持的命名实体相关度计算问题中,研究在语言对象本身的统计特性较弱时,如何对其特征项赋权的问题。本文首次提出了基于实体-属性-属性值记录的命名实体相关度计算方法。实体-属性-属性值记录由于受其内在设计原则的影响,一些在常规文本中有效的统计方法无法直接应用。为此,本文提出通过查询日志中的用户兴趣信息对命名实体的语义特征项进行赋权的方法。与基于知识库内部数据的统计方法相比,本文方法在相关实体推荐应用上达到了更好的准确率。此外,本文还讨论了赋权策略在不同规模、质量、领域的知识库条目上的有效性,以及相关度计算函数应如何利用这种赋权结果。以查询语义相关性判断问题为代表,研究语义相关计算策略的分析与改进问题,包括特征的有效性问题和模型的适应性问题。查询语义相关性判断是对两条网页搜索查询是否针对同一信息需求的判断。不同用户的搜索习惯有较大差异,这使得判断模型所采用的特征在不同用户上的有效性不同,并进一步需要判断模型体现出对用户个体差异的适应性。本文首先根据常见的两类相关性线索——时间近邻性、内容相似性——设计了多种分类特征,并由此建立了有效的判断模型。然后,本文通过独立于具体模型的ROC曲线分析考察了诸特征的内在判别能力,并根据分析中的发现,提出了针对单一用户的个体判断模型,通过将个体差异融入全局模型,改善了判断效果。
其他文献
通过分析药品包装系统的作用和我国药用包装材料的管理状况,探讨在药品通用技术文件格式申报中需提供的相关研究内容,及药品研发过程中根据风险程度对包装材料和药品进行相容
本文使用单晶硅单结太阳电池,利用空间环境综合模拟设备,针对空间实际环境中的低能带电粒子辐照效应展开研究。主要涉及的空间辐照条件为能量小于200keV的质子及电子辐射、1MeV
<正>开展综合实践活动是丰富学生语文素养的途径之一。通过语文综合实践活动,进一步检验学过的语文知识,从而在活动过程中扩大学生的知识面,提高学生对语文知识的综合运用能
若要提升水利水电项目管理的质量,管理人员就应结合水利水电工程项目管理实际,了解其中的不足,并深入思考其可改进之处。文章就此展开了讨论,先是简述了水利水电工程项目的管
Activiti是一个轻量级的工作流和业务流程管理(BPM)平台,作为面向企业业务的开源框架,可运行在任何Java应用程序、云服务器上。ExtJS是一种主要用于创建前端用户界面的ajax框
亚里士多德将《形而上学》一书的主题描述为对"何谓实体"以及"何谓实体的本原"的追问。本文采用概念甄别的进路,对两者之间的关系进行梳理,同时结合学界已有讨论,对《形而上
21世纪信息时代,人们的生产生活中产生的时间序列数据极速增长。从大量的、连续的、高维的、有噪声的时序数据中挖掘潜在的、有价值的规则、模式和知识,构建数学模型进行分析
卫星通信技术作为当今世上最先进的通信技术之一,卫星通信技术覆盖面积大、通信距离远的优点使其在各个领域发挥着举足轻重的作用。随着人们对更高通信传输速率的需求,卫星通信
随着改革开放的不断深入和社会竞争的日益加剧,企业有效管理是企业在激烈的社会竞争中取胜的法宝。然而企业绩效管理是企业有效管理的关键因素,良好的绩效管理有助于提高企业
自2001年我国加入WTO以来,对外开放程度日益加深,对外贸易竞争越发激烈。海关在贸易管制工作,尤其是防扩散出口管制、产品质量与食品安全监管、环境保护管理等非传统职能领域