在机器学习和数据挖掘的研究领域中,分类问题是一个非常重要的组成部分。尽管现有的分类算法在众多实际应用中已经取得了巨大的成功,但是随着研究的深入,发现当数据集中不同类别的样本数量相差很大时,会出现类别不平衡问题。此时,直接使用传统算法得到的决策面,往往会向数量较多的类别偏移,极大的影响了模型的性能,在严重情况下,模型甚至会完全失效。本文的主要研究成果如下:首先,本文提出了一种基于Focal Loss的提升树分类模型,通过分析样本分布中的难分区域的含义,以及难分区域的样本对于解决类别不平衡问题的意义,表明通过关注难分区域的样本可以起到缓解类别不平衡问题的效果。通过提高难分区域的样本的损失在整体损失中的占比,使得模型逐渐收敛到在难分区域的最优决策面附近。此外,本文根据复杂度较高的模型可以用来近似线性模型的思路,将原本广义线性模型中使用的线性模型替换为提升树模型,从而使用提升树来拟合对数几率。为了将Focal Loss融入到提升树中,计算了在提升树的每次迭代中基函数的系数更新公式。然后,本文提出了一种基于EM算法的集成分类模型,在少数类样本上通过EM算法得到高斯混合模型,并提出了混合模型的类簇边界划分方法,获得了更加精准的各向异性的非球形类簇边界,可以更准确地排除对于少数类样本无意义的区域,根据之前划分得到的类簇中的样本不平衡情况,在每个类簇数据集上采取不同的措施训练相应的分类器。对任意样本的进行分类时,使用每个类簇上的分类模型集成判断,将每个类簇上的分类器对样本的分类结果加权后作为样本的最终类别。最后,本文提出了一种基于修正损失函数的不平衡情感分析模型,用于解决情感分析问题中存在的类别不平衡现象。本模型使用Bi-GRU提取语义信息,同时为了反映句子中每个上下文词的权重,引入了Attention机制对Bi-GRU的隐藏层输出重新加权得到新的句向量,并通过Self-Attention提取文档中上下文句子之间对情感极性的影响,最后使用全连接层对句子的情感进行分类。本文对分类模型输出的置信度进一步细化,从剔除这部分置信度过低的样本的角度出发,将置信度的整个区间分为了高置信度区域,低置信度区域以及适宜置信度区域,限制了Focal Loss对低置信度样本的权重提升,降低低置信度样本在整体损失中的占比,从而提升模型的性能。