论文部分内容阅读
随着通讯及网络技术的发展,人们已经从信息缺乏的时代过渡到信息极为丰富的数字化的时代。以文本格式存储的信息资源的激增,增加了对于快速、自动文本分类的迫切需求。然而,目前大部分文本自动分类的研究都是基于内容的,没有考虑文章的功能及形式结构上的特点,在某些方面并不满足人们的需求。而基于体裁的文本分类的研究,在对信息资源进行有效的管理和检索等方面,都有一定的积极作用。本文探讨了中文网页的体裁分类问题,主要的研究内容包括:(1)中文网页体裁分类的特征项选取问题。传统的文本内容分类仅以词语作为特征项,而由于语言表达方式的差异,英文体裁分类关于特征项选取的相关研究并不完全适用于中文。本文主要研究区分不同体裁的各种特征;提出了用模糊字符串模式表示不同体裁用语特点的特征;结合自动抽取方法和人工归纳的方式来获得表示特征的模糊字符串模式。实现方法上,摆脱了传统的文本分类对切分词处理和词典的依赖,通过改进PAT树(Patricia Tree)的存储结构,对文本进行序列模式挖掘来获得候选特征项,克服了传统方法中的词库更新问题及切分词处理对新词语、英文短语提取效果不佳等的缺陷。(2)特征项的权重计算问题。基于体裁分类多种特征集的特点,探讨不同特征空间对体裁类别的判别能力问题,提出了一种评价方法;据此,提出特征项的权值调整策略,即根据不同特征空间对体裁类别判别能力的强弱,对文本在不同特征空间的特征项权值进行调整。(3)分类方法。引入文本的关联分类规则挖掘,结合关联规则分类对SVM (Support Vector Machines)分类器的分类性能进行修正。讨论了关联规则的挖掘、优化以及分类器的组合问题,提出了改进了规则的优化策略及算法。相关实验结果表明,本文的特征项选取方法总体上来说是可行的,模糊字符串模式特征的引入,也有利于改进某些体裁类别的分类效果。此外,提出的特征空间对体裁类别的判别能力的评价方法符合经验知识,权值的调整策略也提高了分类器的整体性能。关联规则对于SVM分类器的辅助修正在总体上有所帮助,但并非十分明显。