论文部分内容阅读
标注训练样本是文本自动分类中的基础和关键。大规模的标注训练样本需要人工干预,耗时、费力,难以在有限的时间内完成,而未标注文本却十分丰富。如何利用少量的标注样本和大量的未标注文本快速(限时)构造出数量较大的标注样本成为了文本增量学习中的热点和难点。本文采用FEM评估方法和SEM评估方法来度量文本的可信度,将可信度高的文本看作标注文本,以此构造算法来解决上述问题。具体工作如下:
本文将聚类和贝叶斯增量学习结合起来,提出了基于文本可信度的增量学习方法。该算法包括2个步骤:(1)首先对新增训练集进行子集划分,构造出一个子集序列;利用FEM评估方法依次迭代找出每个子集中的正确集区间和模糊区间,将正确集区间内的文本看作可信度高的文本,合并到标注样本集。在此处理过程中,后一步的FEM评估中所使用的分类器是根据初始标注样本集和在此步之前获得的所有可信度高的文本共同构成的文本集训练得到的。(2)将前面所有模糊区间合并为一个大的模糊区间,并对其进行AP聚类处理,利用SEM评估方法将聚类结果中可信度高的类簇中的可信度高的文本合并到标注样本集。更新模糊区间,迭代第(2)个步骤,直至模糊区间为空。这里,可信度高的类簇指纯度高的类簇。
本文提出方法的优点:(1)弱化了噪音数据的影响,提高了分类器的精度;(2)每个增量步选择的文本数多,迭代次数少,大幅度减少学习时间,更适合于大规模数据的处理。(3)在处理海量未标注文本时,仅采用FEM评估方法,就可以快速获得约80%标注可信度非常高的文本,无需标注更多的文本,即不需要继续从模糊区间获得文本。
实验结果表明,本文提出的增量学习方法具有较高的性能和学习效率。相对于现有的方法,分类的F1值提高了5个以上百分点,学习平均时间从1865s锐减到115s。