论文部分内容阅读
随着当今社会计算机技术和网络技术的快速发展,我们已然已经进入了一个新的信息时代。面对当前如此巨大的信息资源,如何准确地获取并加以有效地应用,已经成为信息检索领域里一个亟需解决的问题。本文研究的主要内容是,在特定的文本库集合中找出与用户给定的一篇文本内容相关的文本。在多数情况下,用户的检索需求是简单的一个或几个关键词,而本文用户的检索需求是一篇文本,所含信息量大幅增加。本文通过使用一个TFIWF权重计算方法来提高测试文本关键词提取精确率。考虑到语义在文本中的作用,本文通过分析概念之间的语义相似度从知网中获取关键词的扩展词,使用所得到的关键词扩展集合进行检索,有效地改善了检索性能。具体工作如下:(1)提出一种新的词语语义相似度计算方法。提出了一种新的义原分类方法,针对不同类义原特点采取有区别的义原计算方法。同时本文强调了第一基本义原在词语语义相似度计算中的重要作用,通过第一基本义原的比较筛选出参与计算的义项,从而降低了运算的复杂度,效率也有很大提高。此外,用参与计算的义项相似度的算术平均值取代最大值,使得词语语义相似度计算的客观性明显提高。(2)文本中词语权重的计算使用TFIWF方法,在此基础上进行关键词提取。实验表明,该方法能够有效地抑制了同类语料库对测试文本的影响。(3)对查询文本所提取的关键词在语义层面上进行查询扩展,在向量空间模型中,通过查询文本和文本库文本之间的向量计算来比较文本之间的相似程度,输出满足阈值要求的文本检索结果。对实验系统的结果进行分析,检索结果与人们的期望比较相符,最终证明了本文提出的方法的可行性和有效性。实验结果表明,本文介绍的全文文本检索的技术和方法,在特定样本库的试验中,达到查询预期,具有一定的实用价值。在保持查全率在一个适当值时,本文具有较高的查准率。