论文部分内容阅读
自然语言对象在很多情况下存在着语义上的相关关系,这种相关关系可以使多种研究问题受益,如自然语言处理、信息检索、机器翻译、自动问答,等等。语义相关计算是语义相关关系的量化手段,而语义相关关系的广泛应用对语义相关计算算法在理论上、实践上均提出了挑战,例如语言对象语义的模型化表示、语义相关计算模型的设计、信息来源与特征质量的分析、针对问题场景的特殊形式语义相关性、计算方法的跨语言通用性,等等。本文首先明确了“语义相关”的定义,以统一的数学形式给出了语义相关计算的表示,并提出了研究中面临的三个要点:语义连接的选择、特征映射的设计,以及对比映射的设计。围绕这些要点,本文针对词汇级的语言对象,包括词汇、命名实体,以及网页搜索查询,基于统计方法对语义相关计算问题展开研究。本文的研究工作组织为如下四部分。针对词汇语义相关度计算问题,研究异构特征线索下相关度计算函数的设计问题。使用方式(上下文)上的近似性、语义关系上的关联性均为词汇语义相关度的重要指示。这两类特征线索的形式迥异,为了充分利用其中的指导信息,本文设计了一种语义关系增强的层次化上下文相似度算法,使用上下文相似度量化词汇在语义关系上的关联性,从而将两类特征线索统一起来。实验证明语义关系与上下文相似度的结合可以有效提高语义相关度计算结果与人工评价的一致性,而且本文提出的特征线索融合方法优于简单地叠加异构特征的方法。围绕普通文本上的相关命名实体挖掘问题,研究如何在特定应用场景下有效表示语言对象的语义相关关系。本文提出,命名实体之间的语义相关关系无法脱离其对应的客观世界对象之间的关联关系。本文通过考察命名实体的篇章级共现现象,量化了命名实体在事件中的语义互动强度。辅以上下文的相似度,以及行文上的近邻度等特征,基于篇章级共现的相关命名实体挖掘结果在质量上好于基于关系抽取的挖掘结果。在知识库支持的命名实体相关度计算问题中,研究在语言对象本身的统计特性较弱时,如何对其特征项赋权的问题。本文首次提出了基于实体-属性-属性值记录的命名实体相关度计算方法。实体-属性-属性值记录由于受其内在设计原则的影响,一些在常规文本中有效的统计方法无法直接应用。为此,本文提出通过查询日志中的用户兴趣信息对命名实体的语义特征项进行赋权的方法。与基于知识库内部数据的统计方法相比,本文方法在相关实体推荐应用上达到了更好的准确率。此外,本文还讨论了赋权策略在不同规模、质量、领域的知识库条目上的有效性,以及相关度计算函数应如何利用这种赋权结果。以查询语义相关性判断问题为代表,研究语义相关计算策略的分析与改进问题,包括特征的有效性问题和模型的适应性问题。查询语义相关性判断是对两条网页搜索查询是否针对同一信息需求的判断。不同用户的搜索习惯有较大差异,这使得判断模型所采用的特征在不同用户上的有效性不同,并进一步需要判断模型体现出对用户个体差异的适应性。本文首先根据常见的两类相关性线索——时间近邻性、内容相似性——设计了多种分类特征,并由此建立了有效的判断模型。然后,本文通过独立于具体模型的ROC曲线分析考察了诸特征的内在判别能力,并根据分析中的发现,提出了针对单一用户的个体判断模型,通过将个体差异融入全局模型,改善了判断效果。