论文部分内容阅读
中文术语自动抽取是中文信息处理中的一项基础性课题,在很多领域都有很重要的作用。如自然语言生成、计算词典编撰学、句法分析、语料库语言学的研究、统计机器翻译、信息检索、文本分类、文本摘要等领域中有广泛的应用。特别是针对开放语料而言,术语抽取的作用显得十分重要。 中文术语抽取的主要难点在于目前较成熟的算法难以应用到多字术语的抽取上。本文研究了术语在统计学上和在语言上的特点,总结了术语的两个基本特征:单元性(Unithood)和术语性(Termhood),并将根据中文术语的组成方式将术语分为两类:简单术语与复杂术语。通过对各种术语抽取模型的对比分析,本文对中文术语抽取进行了深入研究。 第一,建立了针对复杂术语的字符串分解模型。通过对中文多字术语特征的研究,并在国内外其他研究者的基础上进一步深入地探讨了多字术语与简单术语之间的关系,并提出了能深刻描述这种关系的符合术语构词特点的字符串分解模型。 第二,综合C-value参数和互信息参数的优点,构造了用于中文术语抽取的F-MI参数及其公式。该参数的设计符合术语的构成特点,测试实验显示出了良好的效果。 第三,设计并实现了针对开放语料的中文术语自动抽取系统。 第四,提出了建立错误术语库的思想。错误术语库将有助于在其他研究或应用中避开错误术语的影响,也有助于在评测中减少人工评测的工作量,还可以供研究者对错误术语进行研究,改进术语抽取算法,进一步提高抽取精度。 综合运用论文中研究的方法和设计的抽取系统,对2005年的部分网络文本分别采用了本文提出的抽取算法和传统的抽取算法进行抽取测试,实验结果的对比分析显示,本文方法优于传统的典型术语抽取方法,实验总体精度达到了73.2%,从而验证了论文中提出的各种方法的有效性和可行性。