论文部分内容阅读
摘要：中文信息处理是NLP（自然语言处理）的一个组成部分，它是研究自然语言的学科，它和其他学科如计算机学，文学，理工学等有着一定的综合联系。中文跨文本指代消解是中文信息处理的核心技术，是提高信息抽取和信息检索正确率的基础，主要任务是解决重名消歧和多名聚合两大问题。该文从基本概念入手，描述在语言处理中典型的指代现象和指代消解所需的基本语言知识；同时简单介绍指代消解中商用的算法和技术。
关键词：中文信息处理技术；切词；指代消解；语料库创建
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）15-3447-02
中文信息处理是利用计算机对存储在计算机内的中文的音、形、义等信息进行加工和处理。中文信息处理一般可以继续分为汉字信息处理和汉语信息处理，具体内容包括对字词句、段落的处理，加工步骤首先为为输入—存储—传输—输出，其次是识别—转换压缩—检索—分析理解和生成等方面的处理技术。中文信息处理的应用主要是信息抽取和信息检索，在信息抽取和信息检索过程中，难免会遇到多个指代词指向同一个实体，或者多个实体同一个名称的现象，如何解决这两大问题是当今研究的主要方向，单一文本指代消解技术目前已相对成熟，而跨文本指代消解技术更加复杂。下面先介绍相关基本概念。
1 相关基本技术
1） 中文信息处理技术在语言处理阶段分为基础技术和应用技术，基础技术涉及到词处理，句处理，篇章处理。应用技术主要应用在信息检索，信息抽取方面。统计方法阶段的技术主要有语料库的建立，统计模型建立，利用语料库训练模型参数，编写算法解决问题等技术。
2） 指代分为两种情况，指代主要有回指和共指消解主要有两项任务，即：重名消歧和多名聚合。重名消歧义主要指同一个名称指代的物体不同，在信息检索中常出现，而多名聚合主要指多个名称指向同一个物体，一般应用在信息抽取中。指代主要有回指和共指，如：“小明放学了，妈妈去接他”，句中的“他”一般就是回指“小明”，再如：“中国国家主席和毛泽东”就是共指。指代消解方法主要有一般有基于句法的方法和基于語料库的方法，基于语料库的指代消解方法是当今研究学者用到最多的方法。
3） 语料库创建技术
语料库通俗的来讲就是存放语料的仓库，利用语料库可以进行语言学研究，它的特点是，必须是真实环境中的语言材料，必须以计算机为载体，必须是经过加过处理过的。利用计算机来搜集整理加工语料最终形成语料库是中文信息处理技术的基础，语料库的创建技术也是中文信息处理技术的关键。语料库不仅可以用作训练用，还可以用为评估指代消解的质量
4） 词处理技术
分词的方法主要有，第一种，理解式切分法，利用汉语的结构对词进行界定，并建立成词库，数据库。该方法假设机器具有人类的思维，一般较难实现。第二种方法为机械式分词法，按照一定的策略，如正向最大方法，比较易于实现，第三种方法为基于频度统计的方法，该方法通过相邻字出现的频率来确定是否成词。目前采用的分词技术是多种方法相结合的技术。在切分词的过程中，遇到的最大困难时歧义词和未登录词的切分。
5） 分词歧义消解技术
在进行分词过程中，难免会出现未登录词现象和歧义切分现象，歧义的类型有很多种，词的歧义，结构的歧义，指代和省略中的歧义，或者其他更复杂的情形。如：“物理学是一门基础科学”和“物理学起来很难”中的“物理学”究竟是“物理 学”还是“物理学”这。再如：“他的确切地址在这儿”和“这块肉的确切得不错”的“的确切”究竟怎么组合。目前我们一般采用规则知识和统计信息相结合的方法来处理，首先运用分词规则，在规则使用无效的情况下再使用统计信息方法，
2 指代消解研究基本方法
1） 基于句法的指代消解方法
在指代消解初期，研究者一般是基于句法进行指代消解研究，RAP算法就是基于句法的代表，它的原理是利用人们对句法层面所掌握的知识，结合启发式的方法用于消解。该方法先进行句内过滤，如“小明打了他”，这个“他”不可能指代“小明”，然后基于人称，性和数排除不可能的NP，接着判断冗余的代词，根据字词之间的约束关系识别在同一句内所有可能的现行语，特别要注意是互质代词和反身代词的先行语，接着对候选的NP进行突显性赋值，把回指的节点作为等价类，形成一个回指链，重点是最后一步，就是要从代词的先行语候选库中选择出可能的优先元素。RAP算法事先通过人工方式，降低了系统的可移植性和自动化程度，主要考虑第三人称，指代消解的准确率为86%。
2） 近期基于语料库的指代消解方法
现在语言学高速发展，用来实验的语料库也不断出新，不管是个人创建的小型语料库还是前期研究学者公开发布的大型语料库都有了飞速的发展，在这个基础上，基于语料库的指代消解方法也受到了研究者的青睐。具有代表性的主要有基于规则的、基于统计的、基于特征向量的三种方法。
基于规则的方法从语言学和认知学的观念出发，事先制定语言学规则，要求机器必须按照设定的规则理解自然语言。但随着目前我们对客观存在认知的不段了解、深入，就必然会要求语言规则不段增加，当前的规则系统已经存在有限性和封闭性，导致已设定的规则只能满足部分语言现象，所以基于规则的方法应用起来不是很灵活。
基于统计的方法是结合计算机学和统计学两者所涵盖的知识出发，统计大规模的预料，把统计后的结果加以整理，用来理解自然语言。基于统计的方法依赖语料库的规模，语料规模不可能包含所有语言的可能性，这将导致统计的非遍历性。
这两种方法虽然能够基本解决自然语言处理领域面临的一些问题，但仍然存在一些弊端和局限。有些研究者把基于规则和基于统计的方法相结合，在一定程度上提高指代消解的准确率。
基于特征向量的方法：第一步，要对语料库进行标注，指出指代关系，第二步，将侯选项和照应语的属性赋予一个特征向量，将特征向量与分类模型进行训练，结束后，分类器可以用来消解指代关系。在新文档输入时，把新文档进行预处理，如：分词、词性标注、基本短语识别，预处理后的结果是为每个照应语构建候选先行集合，利用分类器判断两者之间是否存在指代关系。 3 常用指代消解基本框架
1） 预处理
预处理是中文跨文档消解的前提必要条件，也是形成语料库的基础，预处理技术主要有对字的处理及对语句的处理，如句子识别，命名实体的识别，切分词语，词性标注，时空短语的判断及规范化。目前用的比较多的预处理工具是中科院研发的ICTCLAS系统，它是一个概率型的自然语言句法分析器。
2） 傳记信息、相容信息、文档层信息的抽取。
传记信息的抽取是在预处理中对句子识别所形成的文档中进行抽取一句话，并判断句子所属的类别，是否是传记信息经常出现的句子类型，若是，应用句型模式抽取出传记信息，若否，抽取下一句，直到文档尾。
3） 特征选择、权值计算、相容度计算，聚类，指代链的合并。
文本聚类主要有基于概率的方法，该方法是用概率的分布方式来描述文本聚类的结果，它是基于距离的方法，就是将文档赋予一个特征向量，把整篇文章看作是向量空间的一个点，通过计算点与点之间的距离来进行聚类。所有中文原始文档先经过消解，然后形成了每个文档对应的指代链，接着判断两篇文档的相似度，如果大于规定的某个阀值，说明这两篇文档中的实体表示同一实体，那就把这两篇的指代链进行合并。
4 指代消解评估指标
典型的评测标准有正确率、召回率、成功率
1） 正确率指正确消解的指代数目和试图消解的指代数目的比值。
2） 找回率指正确消解的指代数目和系统识别的指代数目的比值。
3） 成功率指正确消解的指代数目和全部消解的指代数目的比值。
5 结束语
本文简单介绍了指代消解的概念和过程，以及用到的相关技术，希望对初学者有所帮助，在今后的研究工作中，自己还需要很大的努力和大量的工作，以提高对指代消解的全面认知。
参考文献：
[1] 季红洁，赵知纬，钱龙华.面向信息抽取的中文跨文本指代消解研究[J].福建电脑，2012（11）
[2] 冯志伟.汉字和汉语的计算机处理[J].当代语言学，2001（1）.
[3] NLP技术在中文全文信息处理中的应用研究[EB/OL].http：//www.lunwentianxia.com/product.sf.4075981.1/
[4] 陈小荷.中文信息处理概述[J].南京师范大学文学院学报，2002（1）.
[5] 孔芳，周国栋，朱巧明，等.指代消解综述[J].计算机工程，2010（4）.
[6] 王厚峰.指代消解的基本方法和实现技术[J].中文信息学报，2002（6）.
关键词：中文信息处理技术；切词；指代消解；语料库创建
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）15-3447-02
中文信息处理是利用计算机对存储在计算机内的中文的音、形、义等信息进行加工和处理。中文信息处理一般可以继续分为汉字信息处理和汉语信息处理，具体内容包括对字词句、段落的处理，加工步骤首先为为输入—存储—传输—输出，其次是识别—转换压缩—检索—分析理解和生成等方面的处理技术。中文信息处理的应用主要是信息抽取和信息检索，在信息抽取和信息检索过程中，难免会遇到多个指代词指向同一个实体，或者多个实体同一个名称的现象，如何解决这两大问题是当今研究的主要方向，单一文本指代消解技术目前已相对成熟，而跨文本指代消解技术更加复杂。下面先介绍相关基本概念。
1 相关基本技术
1） 中文信息处理技术在语言处理阶段分为基础技术和应用技术，基础技术涉及到词处理，句处理，篇章处理。应用技术主要应用在信息检索，信息抽取方面。统计方法阶段的技术主要有语料库的建立，统计模型建立，利用语料库训练模型参数，编写算法解决问题等技术。
2） 指代分为两种情况，指代主要有回指和共指消解主要有两项任务，即：重名消歧和多名聚合。重名消歧义主要指同一个名称指代的物体不同，在信息检索中常出现，而多名聚合主要指多个名称指向同一个物体，一般应用在信息抽取中。指代主要有回指和共指，如：“小明放学了，妈妈去接他”，句中的“他”一般就是回指“小明”，再如：“中国国家主席和毛泽东”就是共指。指代消解方法主要有一般有基于句法的方法和基于語料库的方法，基于语料库的指代消解方法是当今研究学者用到最多的方法。
3） 语料库创建技术
语料库通俗的来讲就是存放语料的仓库，利用语料库可以进行语言学研究，它的特点是，必须是真实环境中的语言材料，必须以计算机为载体，必须是经过加过处理过的。利用计算机来搜集整理加工语料最终形成语料库是中文信息处理技术的基础，语料库的创建技术也是中文信息处理技术的关键。语料库不仅可以用作训练用，还可以用为评估指代消解的质量
4） 词处理技术
分词的方法主要有，第一种，理解式切分法，利用汉语的结构对词进行界定，并建立成词库，数据库。该方法假设机器具有人类的思维，一般较难实现。第二种方法为机械式分词法，按照一定的策略，如正向最大方法，比较易于实现，第三种方法为基于频度统计的方法，该方法通过相邻字出现的频率来确定是否成词。目前采用的分词技术是多种方法相结合的技术。在切分词的过程中，遇到的最大困难时歧义词和未登录词的切分。
5） 分词歧义消解技术
在进行分词过程中，难免会出现未登录词现象和歧义切分现象，歧义的类型有很多种，词的歧义，结构的歧义，指代和省略中的歧义，或者其他更复杂的情形。如：“物理学是一门基础科学”和“物理学起来很难”中的“物理学”究竟是“物理 学”还是“物理学”这。再如：“他的确切地址在这儿”和“这块肉的确切得不错”的“的确切”究竟怎么组合。目前我们一般采用规则知识和统计信息相结合的方法来处理，首先运用分词规则，在规则使用无效的情况下再使用统计信息方法，
2 指代消解研究基本方法
1） 基于句法的指代消解方法
在指代消解初期，研究者一般是基于句法进行指代消解研究，RAP算法就是基于句法的代表，它的原理是利用人们对句法层面所掌握的知识，结合启发式的方法用于消解。该方法先进行句内过滤，如“小明打了他”，这个“他”不可能指代“小明”，然后基于人称，性和数排除不可能的NP，接着判断冗余的代词，根据字词之间的约束关系识别在同一句内所有可能的现行语，特别要注意是互质代词和反身代词的先行语，接着对候选的NP进行突显性赋值，把回指的节点作为等价类，形成一个回指链，重点是最后一步，就是要从代词的先行语候选库中选择出可能的优先元素。RAP算法事先通过人工方式，降低了系统的可移植性和自动化程度，主要考虑第三人称，指代消解的准确率为86%。
2） 近期基于语料库的指代消解方法
现在语言学高速发展，用来实验的语料库也不断出新，不管是个人创建的小型语料库还是前期研究学者公开发布的大型语料库都有了飞速的发展，在这个基础上，基于语料库的指代消解方法也受到了研究者的青睐。具有代表性的主要有基于规则的、基于统计的、基于特征向量的三种方法。
基于规则的方法从语言学和认知学的观念出发，事先制定语言学规则，要求机器必须按照设定的规则理解自然语言。但随着目前我们对客观存在认知的不段了解、深入，就必然会要求语言规则不段增加，当前的规则系统已经存在有限性和封闭性，导致已设定的规则只能满足部分语言现象，所以基于规则的方法应用起来不是很灵活。
基于统计的方法是结合计算机学和统计学两者所涵盖的知识出发，统计大规模的预料，把统计后的结果加以整理，用来理解自然语言。基于统计的方法依赖语料库的规模，语料规模不可能包含所有语言的可能性，这将导致统计的非遍历性。
这两种方法虽然能够基本解决自然语言处理领域面临的一些问题，但仍然存在一些弊端和局限。有些研究者把基于规则和基于统计的方法相结合，在一定程度上提高指代消解的准确率。
基于特征向量的方法：第一步，要对语料库进行标注，指出指代关系，第二步，将侯选项和照应语的属性赋予一个特征向量，将特征向量与分类模型进行训练，结束后，分类器可以用来消解指代关系。在新文档输入时，把新文档进行预处理，如：分词、词性标注、基本短语识别，预处理后的结果是为每个照应语构建候选先行集合，利用分类器判断两者之间是否存在指代关系。 3 常用指代消解基本框架
1） 预处理
预处理是中文跨文档消解的前提必要条件，也是形成语料库的基础，预处理技术主要有对字的处理及对语句的处理，如句子识别，命名实体的识别，切分词语，词性标注，时空短语的判断及规范化。目前用的比较多的预处理工具是中科院研发的ICTCLAS系统，它是一个概率型的自然语言句法分析器。
2） 傳记信息、相容信息、文档层信息的抽取。
传记信息的抽取是在预处理中对句子识别所形成的文档中进行抽取一句话，并判断句子所属的类别，是否是传记信息经常出现的句子类型，若是，应用句型模式抽取出传记信息，若否，抽取下一句，直到文档尾。
3） 特征选择、权值计算、相容度计算，聚类，指代链的合并。
文本聚类主要有基于概率的方法，该方法是用概率的分布方式来描述文本聚类的结果，它是基于距离的方法，就是将文档赋予一个特征向量，把整篇文章看作是向量空间的一个点，通过计算点与点之间的距离来进行聚类。所有中文原始文档先经过消解，然后形成了每个文档对应的指代链，接着判断两篇文档的相似度，如果大于规定的某个阀值，说明这两篇文档中的实体表示同一实体，那就把这两篇的指代链进行合并。
4 指代消解评估指标
典型的评测标准有正确率、召回率、成功率
1） 正确率指正确消解的指代数目和试图消解的指代数目的比值。
2） 找回率指正确消解的指代数目和系统识别的指代数目的比值。
3） 成功率指正确消解的指代数目和全部消解的指代数目的比值。
5 结束语
本文简单介绍了指代消解的概念和过程，以及用到的相关技术，希望对初学者有所帮助，在今后的研究工作中，自己还需要很大的努力和大量的工作，以提高对指代消解的全面认知。
参考文献：
[1] 季红洁，赵知纬，钱龙华.面向信息抽取的中文跨文本指代消解研究[J].福建电脑，2012（11）
[2] 冯志伟.汉字和汉语的计算机处理[J].当代语言学，2001（1）.
[3] NLP技术在中文全文信息处理中的应用研究[EB/OL].http：//www.lunwentianxia.com/product.sf.4075981.1/
[4] 陈小荷.中文信息处理概述[J].南京师范大学文学院学报，2002（1）.
[5] 孔芳，周国栋，朱巧明，等.指代消解综述[J].计算机工程，2010（4）.
[6] 王厚峰.指代消解的基本方法和实现技术[J].中文信息学报，2002（6）.