论文部分内容阅读
物种描述是生物学和生态学的起点,两百多年来积累了海量文献。为了满足生物学和生态学领域对物种描述信息的自动语义处理和细粒度检索的需求,物种描述文本的结构化和半结构化成为该学科领域知识基础设施建设的重要任务。由于物种描述信息的绝大部分是以人类可读的形式存在的,因此,存在于文本中的科学事实需要人类智慧来分析和理解。为了使科学事实更便于利用,及生物和生态研究的重复利用,需要一个有效的机制,从主体文件中提取准确的科学事实,并把他们转换成计算机可以理解的形式。这个过程称为语义标注。然而,以手工方式根本无法完成海量文本的转换。因此,物种描述文本的自动语义标注成为亟待突破的领域。本研究以中文生物多样性描述文档为样本,进行语义标注算法研究。文章主要包括五个部分的内容:(1)准备研究样本。本研究采取随机抽样和分层抽样相结合的方式,从《中国植物志》中采集1000个文档作为数据集,并根据已有的schema对数据集进行XML标引。(2)语词切分。语词切分是语义标注的基础,直接影响标注结果。本研究通过对比不同中文分词软件的分词效果,选用易用性和准确性最好的ICTACLAS作为本研究的语词切分工具。(3)构建语义标注算法。本研究自建算法,利用机器学习最大限度地识别所有领域概念,提供标注目标,进而标注复杂文本。并选用经典机器学习算法朴素贝叶斯作为比较的基准。(4)三种算法分别根据学习到的经验对测试样本进行语义标注,生成相应的XML文档。(5)标注效果的评估。本文将数据样本区分为训练集和测试集,运用从训练集获知的标注规则对测试集进行标注。通过标注准确率对标注结果进行评估。评估结果显示,系统完成了对描述文本一层元素和二层大部分元素的标注,对部分二层元素的标注结果还有待改善。进行一层标注时,优先规则算法的效率最好,整体标注结果最佳达0.928,但时间成本也是最高的;二层标注时,优先规则算法优于朴素贝叶斯算法和基础规则算法,标注结果为0.854,时间成本上,朴素贝叶斯仅需2分钟,基础规则算法需要4个小时,而优先规则算法则多达十几个小时。另外,采用先导词后,三种算法的标注结果均有不同程度的提高。因此,我们认为先导词是设计标注算法时应重点考虑的因素,其中重要的原因是采用先导词可以有效降低系统的计算成本。在小样本测试时可以忽视由此产生的优势,但对于实用系统在处理海量文本时则具有重大意义。本文初步地对系统的几个重要部分进行了介绍,并对各部分进行了实现。研究还需在schema的订正和扩展、标引工作的简化、系统的通用性、领域新词识别实现等方面做更多的工作。