论文部分内容阅读
文本相似度计算作为中文信息处理中的一项基础性技术,被广泛应用到文本分类、文本聚类、信息检索等多个领域,长期以来受到了众多学者的关注和研究。在信息大爆炸所带来的大量文本信息的数据堆积中,很大一部分是短文本数据或短语数据,因此,在短文本数据信息的处理问题上,短语的相似度计算变得越来越重要。本文就是针对中文短语信息的处理问题,提出了一种新的中文短语相似度计算方法。在算法的设计过程中,本文分析了短语间相匹配文字的位置、匹配位置的偏移值、匹配文字长度等多种因素,提出了中文短语间相似度的计算公式,并给出了该算法的实现代码。围绕中文短语相似度计算问题,本文主要做了以下几方面工作:首先,研究了多种文本相似度计算方法,并分析了文本相似度计算的现状和几种经典的文本相似度算法,对其适用领域和优缺点进行了剖析;分析了文本相似度计算在文本聚类中的应用和几种文本聚类方法。其次,在对现有文本相似度计算方法分析研究的基础上,针对短语级别文本的信息处理问题,提出了一种新的中文短语相似度计算方法,然后对该方法的合理性进行了检验,并通过将不同的文本相似度算法用于同一种聚类算法,对本文提出的方法的有效性进行了检验。最后,将中文短语相似度计算方法用于高校培养计划管理系统中的相似课程排查模块,实现了相似课程的聚类,并对整个系统进行设计实现。本课题的研究及其成果对于中文信息处理中的多个领域尤其是中文短语的处理问题,都有一定的参考价值和良好的应用前景。