论文部分内容阅读
45年前F.Rosenblatt提出感知器模型以来,机器学习理论伴随着计算机技术的发展取得了长足的进步。在经历一些挫折后, 90年代后统计学习理论被引入到机器学习领域,SVM(Support Vector Machine,支持向量机)兴起,它是基于结构风险最小化的学习模型。在SVM的研究中有两个方向,一个是SVC(Support Vector Classify,支持向量分类机),另一个是SVR(Support Vector Regression,支持向量回归机)。在SVM中,参数的选择对于求解具有至关重的作用。核函数的选择在SVR模型中是一个比较重要的研究方向,现在常用的核函数都是正定的。SVR模型中引入非正定的核函数以后,原有的SVR问题无法转化为凸二次规划问题,因而无法用最优化方法进行求解。现在对SVC的研究已经相当深入,这主要表现在SVC的参数选择问题已经得到了基本解决,但对SVR的参数选择的方法研究却很少见。SVR的几何框架[1]介绍了SVC和SVR在几何范畴里的关系,它把SVR和SVC联系了在一起,即SVR问题在其对偶空间可以看作是一个SVC问题。从这个框架中引申出的SVR与SVC的核函数的关系,在具体应用中导致了非正定的核函数的出现。本文作了一定的研究,部分解决了上述的两个问题。对于第一个问题,结合RKKS机器学习理论和SVR模型,提出了近似SVR模型。在仿真实验中,使用的核函数无论是正定的还是非正定的,都能表现出良好的回归性能和泛化性能。对于第二个问题,本方从两个方向入手。一、为了保证由SVC核向SVR核函数转化过程的正定性,运用空间映射变换;二、对于转化过程中引入了非正定核函数问题,运用近似SVR模型进行求解。实验结果表明,这两种方法都可以解决SVC核函数向SVR核函数转化过程中出现的非正定核问题,其中第二种方法再一次说明了近似SVR模型的适用性。