论文部分内容阅读
统计学习理论(SLT)是目前针对小样本统计估计和预测学习的最佳理论。支持向量机(SVM)作为统计学习理论的实现方法,在很大程度上解决了模型选择与过学习问题、非线性和维数灾问题、局部极小点等问题。在SVM基础上,邻域风险最小化(VRM)原则崭露头角。
由于VRM原则是在不同的样本点上采用不同宽度的核来得到解,而在某一样本点上核的宽度应该与这一点上邻域半径的大小存在一定联系,故可通过改进对邻域半径的定义来改进邻域风险最小化算法。
本文提出两种新的定义邻域半径的方法,以期达到改进邻域风险最小化算法的目的。这两种方法一种是利用最佳距离度量近邻法来定义邻域半径,即对任意训练样本点,首先利用最佳距离度量近邻法定义出一个距离度量,并根据这个距离度量来寻找该样本点的最近邻,然后根据该样本点和它的最近邻之间的距离来定义邻域半径。另一种是用模糊的方法来定义邻域半径,即对任意训练样本点,首先在它和其余样本点之间建立一个“连接”损失,然后根据该样本点与其余样本点之间的“连接”损失及距离来建立一个隶属度函数,继而根据该样本点与和它隶属度最大的样本点之间的距离来定义邻域半径。这样就可在原有邻域风险最小化算法的基础上分别建立基于最佳距离度量近邻法的邻域风险最小化算法和模糊邻域风险最小化算法。实例表明这两种新提出的算法是正确的、有效的。