论文部分内容阅读
支持向量机(SVM)作为结构风险最小化准则的具体实现工具,具有全局最优、结构简单、泛化性能强等优点。该技术已成为机器学习界的研究热点,并在很多领域得到了成功的应用。本文针对支持向量机,作了如下几个方面的研究:(1)指出基于贪婪思想的LS-SVM稀疏化算法得到的解容易落入局部极小点,即超平面并不稀疏。提出Invfitting法则分析迭代过程中所有支持向量,删除掉对决策函数影响最小的支持向量。并将Invfitting法则与逐次增加的支持向量的Backfitting法则有机结合,发展了更具有全局最优性的HBILS-SVM算法,从而敞少支持向量的数目,使得超平面更加稀疏。(2)分析了现有SVM几何算法中RCH的不足:RCH改变训练样本的凸包的几何形状,并且仅有极点表出的必要而非充分条件。引入了具有不改变几何体的形状、容易确定极点等优良特性的CCH的概念。据此讨论了基于CCH的SVM几何算法。同时,根据CCH极点的特性,提出了概率加速几何算法减少迭代中的计算量。(3)提出TM-ν-SVM解决了TM-SVM无法确定正则化参数的不足,确定了TM-ν-SVM的间隔误差和子支持向量的上下界,分析表明TM-ν-SVM算法可取得比ν-SVM算法更好的结果。同时具体分析了TM-ν-SVM的几何意义,即优化过径等价于求特征空间中两个SCCH间的最近点对。进一步,讨论了SCCH的几阿性质,据此给出了对应的几何算法。(4)讨论了将SVR转化为SVC的样本平移(SS)算法,并给出了基于经验法向量的样本平移(OSS)算法。进一步地,为减少噪声对经验法向量的影响,结合支持向量的几何算法,提出了基于特征空间中法向量的在线样本平移(OFGSS)算法。该方法可减少平移大小对回归函数的影响,降低噪声影响,具有较强的泛化性能。(5)分析对比了增量支持向量机和支持向量机的几何算法的优缺点。探讨了基于几何算法的支持向量机核参数确定方法。该方法结合了几何算法的优点,并利用对参数的近似梯度计算,从而以更快的速度得到最优核参数。为支持向量机的模型选择提供了一条有效的途径。(6)在回顾TSVM的各种学习算法之后提出了TSVM的一个改进算法——SMTSVM算法。SMTSVM算法通过引入序列最小化思想估计调整测试样本的临时标签后的Largrange系数,从而得到新的决策分类函数以及调整后的经验误差估计。该方法可解决过于简单地估计经验误差带来的分类精度上的不足。(7)讨论了将SVM应用到蛋白质相互作用预测工作中。通过利用蛋白质的结构域信息以及残基序列信息分别构建新的SVM输入向量,从而有效地预测了蛋白质相互作用及判定预测位点。数值模拟实验表明结合所讨论的特征表示方法得到的SVM预测器的性能远好于其它结果。