论文部分内容阅读
随着行业内文本数据的不断积累,如教育、财经、餐饮、旅游等领域拥有大量的doc、pdf等格式的非结构或半结构化的数据。同结构化的数据管理相比,这些非结构或半结构化的数据管理要难很多。最近几年来出现了许多面向行业领域的应用,如酷讯网的车票信息、搜房网的房产信息等,它们提供的服务方便了人们的生活,但大多数是基于领域内结构化数据的信息加工和服务,所以本文主要研究行业领域内非结构化数据文本信息处理中文本相似度计算的问题。文本相似度计算是文本信息处理的基础,可为文本聚类、文本分类、相似文本资源推荐等提供技术支持。传统的文本相似度计算是基于关键词集的向量空间模型,它仅考虑了文本中关键词的简单匹配,而没有考虑关键词的语义以及关键词之间的联系;同时它在针对领域文本相似度计算时,很少考虑文本的领域特征。本文研究领域文本相似度计算,其研究思路就是如何从文本集中抽取领域知识以及如何利用领域知识来挖掘文本的语义特征来计算文本相似度。主要工作和贡献如下:(1)提出了一种中文未登录词检测方法。在研究未登录词特点的基础上,设计并验证了基于大规模语料集的候选未登录词统计和阈值过滤的未登录词检测方法。(2)设计了一种领域知识获取模型。使用带有正负符号的卡方分布计算词语和领域的相关度,将相关度较大的词语加入到领域词典;利用领域词典和“是一个”上下位关系模式相结合的方式识别领域语义知识中上下位关系的词语对。(3)提出了一种领域文本的领域特征和语义特征的抽取方法。利用领域词典抽取文本的领域特征,减少其他词语对文本主题特征的影响;同时利用上下位语义关系对领域关键词向量模型进行上位关系的词语扩展。(4)提出了一种领域文本相似度计算方法。使用上位关系扩展的领域关键词的向量模型,定义领域文本相似度计算公式计算领域文本相似度。实验表明针对领域文本集,基于领域知识的领域文本相似度计算方法和传统的文本相似度计算方法相比,它能够较好的抽取文本领域和语义特征,更好的衡量领域文本相似度。