单标签模型是指一个样本有且仅有一个标签,而多标签则是一个样本对应多个标签。从图像多目标检测,到文本多标签分类,乃至网络搜索推荐结果,都是一个样本对应多个标签。多标签问题有两个关键任务:快速、准确获取标签之间的相关性,并利用标签之间的相关性,提升模型效果。本文参考adaptive LASSO两阶段训练的思想,在adaptive LASSO框架下,提出多标签两阶段特征选择算法,利用标签之间的关联信息,同时改进多标签的模型预测和特征选择效果。算法第一阶段,先将多个标签当成独立处理,建立全部特征对每个标签的广义回归模型,得到每个特征对于每个标签的系数估计矩阵,以及每个标签的预测结果;然后基于标签预测结果,对每一个标签关于其余标签建立简单LASSO回归模型,将其余标签中系数不为零的标签,记为该标签的相关标签,并记录相应的回归系数。第一阶段的目的是获取标签之间相关性,并利用特征与标签、标签与标签之间的回归系数,估计第二阶段惩罚系数。算法第二阶段,每个标签独立代入adaptive LASSO模型,将每个标签的相关标签预测值,作为补充特征加入模型,每个标签的补充特征个数可能不同;根据adaptive LASSO模型,以第一阶段原始特征对标签的回归系数,估计原始特征惩罚系数,以第一阶段标签预测值,关于其相关标签预测值的回归系数,估计相关标签补充特征的惩罚系数;利用相关标签关系,共享相关标签之间的惩罚信息,以判断是否对惩罚系数微调,当触发调整条件时,算法自动调整特征的惩罚系数。基于adaptive LASSO,本文比较了标签独立算法、分类链算法以及本文算法在模拟数据、实际文本数据中特征选择、模型预测中的表现。同时,本文还利用自然语言处理技术,提出了基于Bert词向量和LASSO的统计+语义特征方式,构建新特征。结果表明,本文算法在这些数据集上均有明显优势,相对于其他多标签算法,本文算法考虑了标签相关性,通过有的放矢的相关标签特征化和相关标签惩罚信息共享,具有计算开销小、特征选择更准确、不易过拟合的优势。