近年来,随着计算机和互联网技术的迅猛发展,各领域信息量呈指数级增长。如何高效获取有用信息成为有效利用信息的关键。信息抽取是指从自然语言文本中识别特定类型的事件或关系的信息,并将这些信息格式化输出。从而免去了人工查找的繁琐,提高了工作效率。 目前已经有许多方法应用到该领域。如有基于聚类的方法,有基于统计的方法和模式匹配等方法。本文采用农作物种子文本作为语料,通过信息抽取的方法可以从中选取出农作物种植的有用信息,省去了人工阅读的繁琐。本文提出了一种基于HMM模型的信息抽取方法,定义标点符号(逗号,句号,感叹号等)隔开的语言片断为小句;小句的大意为主题。其依据为:首先,一篇农作物种子文本其实就是一些主题的集合;其次,通过对农作物种子语料的大量阅读,发现语料中在对种子的描述的先后次序大致是一致的。因此一篇种子文本就是一些主题的有序集合。该方法与其它方法比较,它具有以下优点:省去了对领域知识的大量了解;它具有一定的可移植性,不是特定领域特定的模型;它解决了聚类方法的诸多噪音问题。 根据上面的分析,我们主要完成以下几点任务: 比较了各种句子相似度计算的方法,汲取它们的优点,生成了针对农作物语料的基于扩展的小句的相似度算法。 通过计算小句的相似度,将小句聚类,生成训练语料,得到领域的主题集。