论文部分内容阅读
互联网与计算机技术的迅速发展,各种资源呈爆炸式增长,共享程度越来越高,给工作和生活带来极大的便利,成为人们传递和交流信息的重要平台。但是与此同时,造成了网页重复率高、知识产权侵占以及信息的泄密等问题。如何快速、准确的检测出相似内容已成为我们研究的焦点。另一方面,文本相似度比较作为自然语言处理的重要基础与内容,被广泛用于文本分类、聚类、信息检索、文本复制检测等领域,一直受到众多学者的普遍关注与研究,因此,文本相似度比较是解决这些问题有效的方法之一,在理论和实际应用中都具有重要的意义。本文围绕以上问题,进行了深入的研究与实践。论文主要工作包括:首先,将文本相似度比较技术首次引入到涉密文本的泄密检测中,为目前涉密文本的泄密检测仍然停留在人工检测的基础上增加了一种有效的方法与途径。主要工作有:一是提出了一种基于自然语言处理的文本泄密自动检测技术。该方法以基于VSM的相似度比较模型为基础,结合中文分词、文本加密、Web信息抽取等其它自然语言处理技术,旨在不泄密的前提下,通过不可逆加密算法,利用Web信息抽取技术,对密文进行相似度比较,检测特定网站是否存在涉密文本以及泄密的程度。二是对于特定网站内容的获取研究,结合视觉分块的Web信息抽取优点,提出一种基于正则表达式的深层次网页文本抽取方法,以此作为比较的数据源。其次,将目前文本相似度检测技术与其他自然语言处理技术相结合,实现了基于自然语言处理的文本相似度检测系统。该系统实现了篇章、段落到语句的多层次检测;拓宽了比较方式,功能上涵盖了普通文本与涉密文本的检测;数据源包括本地文本和互联网文本信息;相似部分能自动定位标注。本文的主要特色与创新之处:1、将文本相似度比较技术首次引入到涉密文本的泄密检测中。有效的解决目前泄密检测仍采用人工检测方式的问题,并且保证涉密文本的安全性。2、设计并实现了基于自然语言处理的文本相似度检测系统。该系统具有多层次、多数据源、多比较方式、多功能以及多线程计算的特点。