论文部分内容阅读
核方法因其良好的泛化性能在分类、回归、聚类等机器学习领域得到了广泛的应用。在回归问题中,引入核函数的支持向量回归是解决非线性回归问题的一种有效方法。受限于传统的统计学习理论,现有的大部分支持向量回归算法都要求引入满足Mercer定理的正定核函数。然而,在现实应用场景中,一方面核函数并不能保证核矩阵半正定,这导致现有的正定核算法不再适用;另一方面,不定核函数常常取得比正定核更好的学习性能。因此,将不定核引入支持向量回归,并进行有效地求解对回归问题具有十分重要的意义。不定核支持向量回归(Indefinite Kernel Support Vector Regression,IKSVR)将原始特征映射到再生核Kre?n空间,使得支持向量回归优化问题转变为一个非凸问题。现有的不定核方法存在着丢失数据中某些重要信息或存在对偶间隙等问题,从而影响模型的拟合性能和泛化性能。针对以上问题,本文提出了一种引入凸差规划的单不定核支持向量回归算法。进一步,考虑到多核学习能够有效提升核函数及其参数的选择效率,并在处理复杂数据时,能够在一定程度上改善支持向量回归算法的拟合性能。由此,本文在单核算法的基础之上提出了多不定核支持向量回归算法。本文的主要研究工作如下:1)提出了单不定核支持向量回归算法IKSVR。首先,对支持向量回归的原问题模型和对偶问题模型的优化过程进行分析,研究两者解之间的关系,确定对偶间隙的存在。其次,引入凸差规划,用凸差算法优化求解不定核支持向量回归原问题,提出IKSVR算法,并证明该算法能够收敛到局部最优点。最后通过实验验证了算法的有效性和收敛性。2)提出了多不定核支持向量回归算法MIKSVR。通过不同(多种)核函数的线性组合构建了多不定核支持向量回归模型,采用交替优化策略,结合IKSVR算法优化求解该多核模型,并对算法进行了收敛性分析。实验结果表明,MIKSVR算法收敛,且拟合性能较优于其他对比算法。