论文部分内容阅读
现有文献的分类标引多采用《中图法》。在文献出版量飞速增长的背景下,完全依靠人工进行文献标引已经不可行,通过文本自动分类算法实现机器标引变得非常必要。然而,中图分类体系下存在数据不平衡现象。这影响了现有分类算法的性能,难以达到理想的标引效果。
为改善非平衡数据下分类标引的效果,从数据层面与算法层面相结合的角度提出一种标引方法。在数据层面上,利用LSTM模型为少数类补充样本数据。该方法首先利用类名和注释构建初始类目语义表征词,然后基于表征词的平均词向量扩充表征词并构建类目语义分布,最后从类目语义分布中采样一个词作为起始词,使用LSTM模型迭代地生成特定长度的文本,并将生成的文本补充到少数类的训练集中。在算法层面上,提出一种基于卷积神经网络的Stacking集成方法,该方法首先划分交叉验证集,然后在每一折的训练集上训练基分类模型、在验证集上得到基分类模型输出的分类标签概率分布,最后堆叠基分类模型输出的分类标签概率分布,并将概率分布作为卷积神经网络的输入进行模型训练,得到融合分类模型。
以中图类目G4(教育)下的21个三级子类为例对提出的方法进行实验验证。实验结果显示,与基分类模型相比,分类标引的宏观查全率提高5%,宏观F1提高3%;与不考虑非平衡数据的基线模型相比,分类标引的宏观查全率、宏观查准率和宏观F1均提高30%左右。其中,与不增加样本的情况相比,在类目间语义相似度不高的多分类任务中,数据层面方法可有效提升少数类的查全率,且不会大幅损失多数类的查全率,同时宏观查全率或宏观F1提高1%。数据层面方法在类目间语义相似度较高的多分类任务中效果不佳。与单一分类模型相比,算法层面方法的宏观查全率和宏观F1分别提高5%、3%左右。
本文提出的分类标引方法可在一定程度上提高文献分类标引的宏观查全率和宏观F1,较好地提升了非平衡数据条件下的分类标引效果,为样本量较少乃至为零的类目的自动标引提供了解决思路。
为改善非平衡数据下分类标引的效果,从数据层面与算法层面相结合的角度提出一种标引方法。在数据层面上,利用LSTM模型为少数类补充样本数据。该方法首先利用类名和注释构建初始类目语义表征词,然后基于表征词的平均词向量扩充表征词并构建类目语义分布,最后从类目语义分布中采样一个词作为起始词,使用LSTM模型迭代地生成特定长度的文本,并将生成的文本补充到少数类的训练集中。在算法层面上,提出一种基于卷积神经网络的Stacking集成方法,该方法首先划分交叉验证集,然后在每一折的训练集上训练基分类模型、在验证集上得到基分类模型输出的分类标签概率分布,最后堆叠基分类模型输出的分类标签概率分布,并将概率分布作为卷积神经网络的输入进行模型训练,得到融合分类模型。
以中图类目G4(教育)下的21个三级子类为例对提出的方法进行实验验证。实验结果显示,与基分类模型相比,分类标引的宏观查全率提高5%,宏观F1提高3%;与不考虑非平衡数据的基线模型相比,分类标引的宏观查全率、宏观查准率和宏观F1均提高30%左右。其中,与不增加样本的情况相比,在类目间语义相似度不高的多分类任务中,数据层面方法可有效提升少数类的查全率,且不会大幅损失多数类的查全率,同时宏观查全率或宏观F1提高1%。数据层面方法在类目间语义相似度较高的多分类任务中效果不佳。与单一分类模型相比,算法层面方法的宏观查全率和宏观F1分别提高5%、3%左右。
本文提出的分类标引方法可在一定程度上提高文献分类标引的宏观查全率和宏观F1,较好地提升了非平衡数据条件下的分类标引效果,为样本量较少乃至为零的类目的自动标引提供了解决思路。