论文部分内容阅读
本文研究的出发点是支持向量机的推广性能，本文研究了Rademacher复杂性与覆盖数和VC维这两种常见的函数集容量的度量量的关系，以及SVM在这三种容量下的推广性能，主要内容安排如下：第一部分：主要介绍了学习问题的研究对象和研究方法.第二部分：介绍了支持向量机的思想和方法，以及几种常用的SVM形式，包括错分类的SVM，q-范数软间隔范数分类的SVM和回归的SVM.并且证明了加权最小二乘支持向量机和最小二乘法在一定条件下是等价的，提出了用SVM来求解最小二乘问题的思想.第三部分：通过对覆盖数和VC维的研究，给出了学习机器在这两种容量度量下的推广性的界.第四部分：用McDiarmid不等式和对称引理证明学习机器在Rademacher复杂性容量度量的推广性的界，并且借助于Rademacher复杂性的结构化性质，推导了假设空间的Rademacher复杂性与损失函数类Rademacher复杂性关系；在估计了SVM算法所选模型函数空间—再生核希尔伯特空间的Rademacher复杂性之后，得出了SVM的推广性的具体的界.这个界第二项是由模型函数集的范数给出的，这一点恰好与正则化观点相吻合.最后对SVM在损失函数的选择上和结构的控制上两个方面进行了推广，并且给出了推广后的SVM的推广性的界.