论文部分内容阅读
随着信息技术的广泛应用以及互联网的广泛发展,信息资源正爆炸性地增长。其中,80%的信息资源是以自然语言描述的文本形式存在,如何在海量的文本数据中获取最有效的知识,如何解决信息泛滥和知识贫乏的矛盾,是知识抽取研究的目标,而自然语言处理是解决这一问题的关键技术。首先,本文给出了文本资源的知识抽取这一课题提出的背景和国内外研究现状。明确了研究对象是非结构化的自由文本,研究目标是从非结构化的自由文本中抽取知识,涉及了自然语言处理和文本挖掘等领域的相关技术。并概括和分析了国内外一些文本知识抽取的相关系统,和此领域的研究历史和发展趋势。其次,总结了文本知识抽取方面涉及的关键技术,包括自然语言处理、中文分词、相似度算法和常用的语义词典。从理论上提供了本文针对研究对象实现研究目标的理论基础。在此基础之上,提出了文本知识抽取模型,包括定义文本知识的概念,分析文本的物理结构和逻辑结构,介绍Web文本转变为普通文本的方法,实现文本知识的关键词抽取和主题句抽取。关键词通过文本预处理、词语过滤、统计词频、短语合并、同现分析、特征值计算六步实现抽取目标;而主题句采用了“先分割,后抽取”的思想,通过TextTiling技术将文本分割成为一定数量的主题包,然后在每个主题包内通过句子关系图抽取主题句,即抽取主题包内覆盖最广,最能代表作者思想的句子作为主题句。最后,设计并实现了一个基于NLP的文本资源知识抽取系统,然后选用公开的语料库进行了实验验证前述模型的有效性,并深入分析了实验结果。本文旨在建立一个文本资源的文本知识抽取系统。针对文本资源尝试用NLP(自然语言处理)技术,在经过中文分词、词性标注、相似度计算等过程后,从文本资源的语段中抽取关键词和主题句作为文本知识,然后把用自然语言描述的文本知识通过统一存入知识库中,一方面促进对文本的理解,另一方面使知识服务、知识推理和知识创新成为可能。