论文部分内容阅读
文本相似性计算是通过对文本的内容、语法、结构等因素分析,建立算法模型计算文本之间的相似程度,是文本信息处理的关键技术。目前,文本相似性计算已广泛应用到智能检索、自动问答、文本查重等众多领域。部分文本相似性计算模型仅从统计意义上对文本相似性进行分析,对词语间携带的语义关系考虑不充分。针对这个问题,本文重点研究了如何运用知识图谱中所包含的语义信息来度量文本相似性并将其应用于文本检索领域。具体工作内容如下:(1)优化了基于word2vec的语义相似度模型。首先从词频、词性和位置对文本词汇进行加权处理,降低空间向量模型(Value Stream Mapping,VSM)中文本词频对相似性计算的影响。其次,引入word2vec中的Skip-Gram模型,从语义层面将相似词语的语法以及语义联系学习到词向量中,实现基于语义分析来度量文本相似性。最后与VSM模型和知网语义模型进行对比分析,实验证明,在最好情况下本文采用的方法相较于知网语义模型在执行时间上提升近3倍,相较于VSM模型准确率提升44%。(2)在语义理解的基础上构建了核领域的中文知识图谱。对批量下载的文本预处理后,对每篇新闻稿的书目部分进行语义标注,获取核领域概念、属性、实体间的关系,实现了核领域知识图谱的构建。(3)研究基于知识图谱的文本相似性度量方法。对于一个包含众多实体及实体间关系的知识图谱,判断实体间的相似度是提高文本相似性计算准确率的关键。本文采用一种通用的实体相似度计算方法,通过清洗噪声数据,从实体对所包含的不同属性值来度量实体间的相似性,提高文本相似性计算准确率。(4)将知识图谱与优化后的语义相似度计算方法相结合,构建核领域文本相似度计算方法,实现了一个核领域相关信息的检索系统。本系统在输入检索词时,会根据知识图谱给出相似检索词,借助知识图谱的语义关系,搜索引擎能够在一定程度上理解用户检索需求,对比传统的数据库检索及倒排索引检索方法,本系统在一定程度上良好地过滤了与检索条件不相关的文本信息,实现了语义检索功能,对信息检索服务具备一定的应用价值。