论文部分内容阅读
支持向量机(SVM)作为模式识别和数据挖掘领域非常流行的分类方法之一,其理论自上世纪60年代诞生,并在最近的数十年来得到了快速的发展和广泛的应用。基于SVM的改进方法广义特征值最接近支持向量机(GEPSVM)在提升算法泛化性能的同时,也降低了计算成本。随着信息技术的迅猛发展,多模态数据的普及催生了多视图学习(MVL)的产生与发展。相比于传统的单视图方法,多视图学习能够利用不同视图特征的一致和互补信息从而提升学习器的学习性能。多视图广义特征值最接近支持向量机(MvGSVM),巧妙地将多视图学习与GEPSVM融合起来,利用多视图共正则项寻找不同视图间的一致性。然而,包括MvGSVM在内的大多数多视图分类方法,目标模型的优化都是基于平方L2范数距离度量,很容易受到离群点的负面影响。为了解决当前多视图分类学习鲁棒性不足的问题,本文提出了三种基于SVM的鲁棒多视图分类算法,主要研究内容如下:1.鉴于MvGSVM的良好分类表现,本文提出了一种的新的多视图分类方法——鲁棒多视图广义特征值最接近支持向量机(Lp,s-MvGEPSVM)。不同于MvGSVM,该方法利用Lp和Ls范数分别对超平面到正类样本和负类样本的距离进行度量,以保证模型的鲁棒性和判别性。为了求解所构建的的非凸优化问题,本文设计了一种有效的迭代求解算法,并在理论上证明了该算法的收敛性。应用人脸数据集和UCI数据集对上述算法进行对比分析研究,实验结果表明本文方法在分类精度、鲁棒性以及灵活性上具有很好的优势。2.在MvGSVM的基础上,本文提出了一种新的方法,鲁棒多视图双边孪生支持向量机(MvRDTSVM)。首先将其拓展到QP类型问题的求解,并引入L1范数计算损失函数和多视图共正则项,其次采用双边策略放宽了约束的限制,即允许正类样本在拟合超平面的同时,负类样本可以分布在该超平面的两侧。本文设计了一种新的迭代算法并且给出了收敛性的证明。大量的对比实验结果表明,与MvGSVM等方法相比,MvRDTSVM在抗噪声能力和分类精度上更具优势。3.MvRDTSVM需要求解一系列QP问题,毫无疑问会带来很昂贵的计算成本。因此,根据最小二乘思想,将不等式约束替换为等式约束,本文提出了快速鲁棒多视图双边孪生支持向量机(MvFRDTSVM)。通过在每一次迭代中求解一个线性方程组从从而大大加快了计算速度,收敛性的证明在理论上保证了该算法的可行性。同样,利用UCI公共数据集对相关算法进行了对比实验和分析研究,实验结果显示了新方法快速、高效的优点。