论文部分内容阅读
随着互联网对生活的影响不断增加,人们面临着越来越汹涌的网络数据洪流的冲击,这股数据洪流中占比最大的就是文本数据。如何处理海量文本数据,是人们亟待解决的一个问题。在文本挖掘领域,文本相似度计算技术是联系上层应用系统和下层文本表示模型、分词系统等基础技术的纽带。目前,由于文本的多样性和复杂性,还没有一种对所有应用场景都适用的文本相似度算法。因此,如何针对应用场景和应用数据选择并改进文本相似度计算,是一项很有意义和实用价值的研究。本文分别研究了长、短文本的相似度算法,针对现有算法的不足提出了改进和创新方法。本文还实现了教改项目-“信息安全竞赛平台”的试题库管理和查重模块,针对试题库系统这个应用背景,对本文提出的文本相似度算法进行了适当的调整和优化,达到了较好的应用效果。 在研究长文本相似度算法的基础上,我们发现目前的长文本所用的向量空间模型(VSM)有以下缺点:1.忽略了特征词的语义关联。2.特征的加权算法无法充分反映特征词的表达能力。本文针对这些缺点,提出了一个基于关键词的文本向量空间模型(关键词VSM),该模型使用的关键词集是结合了文本的结构特征、语义特征和统计特征挑选出来的,能很好的表达文本的内容。用关键词VSM模型对文本进行表示,可以将传统VSM模型的维度大大降低,并提高特征词的表达能力,改进算法的效率和准度。在关键词VSM模型基础上,本文将LDA主题模型引入到文本相似度计算中,从文本表层和深层语义主题两个角度去综合判断文本的相似度,提升算法的准确率。 在深入研究短文本相似度算法之后,针对目前短文本相似度算法使用的人工语义知识库的局限性,本文提出了基于维基百科知识库作为语义知识库的计算方法。研究现有的词语相关度算法后,提出了结合维基百科链接、分类、文档三种特征信息的词汇相关度计算方法。在运用此方法基础上,通过最大匹配序列算法求得两个短文本的最大语义相关度匹配序列,进行短文本语义相关度的计算。将短文本表层词语词序特征和深层语义特征结合,改进短文本的相似度计算质量。 本文实验结果证实了本文提出的算法相对于传统算法,性能有较明显的提升。同时,本文通过将本文的短文本相似度算法合理应用到高等教育改革项目-“信息安全竞赛平台”试题库查重系统模块上,实现了本文研究成果从理论研究到实际应用的转化。