论文部分内容阅读
支持向量机是数据挖掘中的新方法。它是建立在统计学习理论基础之上的通用学习方法,并且已表现出很多优于已有方法的性能。目前在理论研究和实际应用两方面支持向量机正处于飞速发展的阶段。 处理分类问题和回归问题的支持向量机分别称为支持向量分类机(SVC)和支持向量回归机(SVR),支持向量回归机无论在理论还是应用研究方面都没有支持向量分类机的研究工作深入和广泛,本文针对以下几个方面对支持向量回归机的理论和应用进行了研究和探讨: 1.模型选择问题决定了支持向量机实际应用的成功与否。对支持向量分类机,已经有了一些文献探讨如何选择最优参数,其最常用的评价标准是LOO误差界。对支持向量回归机目前还没有相应的结果。本文推导出三个支持向量回归机算法的LOO误差界,并在此基础上给出了一个新的支持向量回归机算法——LOO支持向量回归机; 2.本文给出了一个广义支持向量回归机模型,该模型的优化问题中含有一个可灵活选取的函数,通过该函数的不同选取,使其能够包含若干种已有的支持向量回归机模型,并且该广义模型不再要求核函数具有正定性,从而拓广了核函数的选择范围;把支持向量回归机中的原始凸二次规划问题转化为光滑的无约束问题,构建了无约束支持向量回归机,使得许多成熟有效的无约束最优化算法能够应用到支持向量回归机中去; 3.对标准的ε-SVR,我们给出了其两个导出途径:一是把回归问题转化为分类问题,利用SVC求解,推导出ε-SVR的原始最优化问题;二是对回归问题给出了相应于分类问题的间隔概念,利用最大间隔的思想推导出ε-SVR的原始问题; 4.目前支持向量回归机的研究都是基于有限维空间的优化理论,而对于无穷维空间则没有讨论。本文对无穷维空间中支持向量回归机的原始最优化问题和对偶问题的解的关系,给出了严谨的理论证明,完善了支持向量回归机的优化理论基础; 5.对小流域土壤侵蚀的预报问题,本文利用研究的理论结果建立小流域土壤侵蚀SVR预报模型,并根据最小化LOO误差界选择最优参数。与传统预报模型的比较结果表明了SVR预报模型的可行性和有效性,从而为支持向量回归机在新领域的应用做了有意义的尝试。