支持向量机是一种基于统计学习理论的机器学习方法,最早是在1995年由Vapnik等学者针对二值分类问题提出来的一种方法,主要是防止模型过学习与欠学习、局部极小点等问题。随着研究学者的深入研究,先后提出了多种基于支持向量机的学习方法,如模糊支持向量、最小二乘支持向量机、鲁棒支持向量机、基于k近邻支持向量机、基于卷积神经网络支持向量机。并且广泛应用在众多领域如图像分类、文本分类以及模式识别。虽然支持向量机在解决二分类问题已经取得了丰硕的成果,但是研究学者仍旧不断研究,并且把支持向量机拓展到双支持向量机的研究上,双支持向量机有着与标准支持向量机相类似的形式,它构造了两个非平行的分类超平面,把一个大的二次规划问题转化成了两个小的二次规划问题,并且把与目标类别相对的数据样本点纳入二次规划问题的约束条件中,这样可以大大的加快了模型训练的速度。二十一世纪是崭新的时代,是信息科技的时代。数据可以随时随地从网络上收集到或者是利用各式各样的特征提取器提取得到。例如,一份文本、一张图片、一段音频以及一则新闻等。在机器学习领域,有些收集到的数据带有额外的特征,例如一份文本或图片上有注释和标注,这些额外的特征被称为是特权信息。有标签的数据样本,可以标签信息得知其所属类别。但是,在正类和负类数据样本的交界处,存在着第三类数据样本,既有与正类数据样本相似的信息,也有负类数据样本的相似信息,被称作是Universum数据。这两种类型的数据都是可以提供先验知识辅助训练模型。如何充分利用这两种类型的数据去构建统一的模型和辅助训练分类器,已经成为了重要的挑战:（1）如何把特权信息引入到双支持向量机模型,并且能利用特权信息提供的先验知识辅助训练分类器。（2）如何把字典学习模型引入到双支持向量机中,利用字典学习对输入的数据样本进行去噪和去冗余,让转换后的数据样本更加具有稀疏性。（3）如何把Universum数据嵌入到基于字典的迁移学习模型中,并且在源域和目标域分别构建两个字典,确保把在源域学习到的先验知识迁移到目标域。为了能够有效利用这两种类型的数据,以及处理以上的相关问题,本文针对面向支持向量机的字典学习、特权信息和Universum数据的方法展开了深入的研究。本文的主要研究工作如下:1.针对有效利用数据样本的附加信息,数据样本之间的关系的问题,本文提出了一种名为具有特权信息的双支持向量机（TWSVM-PI）的新方法。该方法首先是利用校正空间的校正函数将特权信息嵌入到双支持向量机中,以构建一个统一的模型。同时,为特权信息引入一个惩罚权重和松弛变量,在训练过程中利用样本的潜在特权信息和样本的原始特征来训练分类器模型,即是利用不同权重的特权信息来调整两个非平行的超平面确保正类数据样本和负类数据样本被非平行的超平面分开。在优化过程,把一个较大的二次规划问题转化成两个较小的二次规划问题（QPPs）来优化求解得到两个非平行超平面。最后,我们进行了广泛的实验来评估所提出的TWSVM-PI方法的性能。结果表明,与基线方法相比,所提出的方法可以获得更好的性能。2.针对收集到的数据样本存在着噪声、数据冗余和数据不平衡,以及数据样本不是服从同一分布的问题,本文提出了一个结合双支持向量机和字典学习的模型,称为具有字典学习的双支持向量机学习方法（TSVMDL）。该方法首先是结合双支持向量机和字典学习构建一个统一的分类模型,通过字典学习来训练基于双支持向量机的判别分类器。同时,针对二分类问题构建一个二分类特定字典,并学习了一个分析字典,用于确保数据样本能够与稀疏编码桥接。此外,在字典学习模型中采用l2,1范式稀疏约束条件代替l0或l1范式稀疏约束条件,以确保系数在行中是尽可能稀疏的。最后,在不同的基准数据集上的执行了大量的实验,实验结果验证了模型的可行性。3.针对目前大部分的研究工作都忽略了位于正负两类数据样本交界处附近的未标记的数据样本的问题,即Universum数据。本文提出了一种具有Universum数据基于字典的迁移学习方法,即U-DTL。该方法利用ε敏感损失函数把Universum数据嵌入到基于支持向量机的迁移学习模型中,利用Universum数据提供的先验知识辅助训练分类模型。而后,该方法为源域和目标域分别构造了一个字典,利用字典学习增强原始数据的稀疏性并减少噪声对迁移数据的影响。此外,两个域的字典之间的相似性约束项被引入到统一的模型中,以确保把在源域学习到的先验知识迁移到目标域,辅助目标域分类。最后,在多个基准数据集上执行大量的实验,其结果验证了该方法的有效性。