随着大数据时代的到来,数据的样本数量和特征维度也随之增高,从这些高维数据中选取重要的特征建立精简有效的机器学习模型已经变得十分重要。在机器学习的实际应用中,特征数量往往较多,这些特征中可能有很多特征与要解决的实际问题并不相关,并且过多的特征也会带来计算量大、推广能力差等问题,而特征选择这一过程可以很大程度上避免过拟合现象,降低模型的复杂度,从而达到降低时空复杂度的目的。因此,研究特征选择算法对构建机器学习模型具有非常重要的意义。特征选择是模式识别中关键的数据预处理步骤,是提高学习算法性能的一个必要手段。常见的特征选择方法有很多,但这些方法往往属于通用方法,即它们没有考虑不同机器学习任务的特殊性。但是,有些特征选择方法则是与具体的机器学习模型相结合,并将该模型的建立融入到特征选择过程中,比如包裹法,而包裹法中最常用的方法就是递归特征剔除方法。在本文的研究问题中,主要考虑回归分析领域中的特征选择问题。由于递归特征剔除方法不仅可以实现很好的特征选择效果,同时具有处理高维数据的能力,因此,该方法为本文的研究方向。本文首先对原有的支持向量回归算法进行改进,提出了一种新的回归分析算法,即距离加权支持向量回归算法。该算法对噪声具有很好的鲁棒性,并且不易受到包括支持向量在内的边缘数据分布的影响,因此可以实现比较好的拟合效果。之后,本文基于距离加权支持向量回归算法,实现了一种特殊的递归特征剔除方法。该方法对参数变化不敏感,同时也具有很好的鲁棒性。基于距离加权支持向量的递归特征剔除法主要根据每个特征对距离加权支持向量回归算法的贡献大小进行排序,然后从特征集合中递归地剔除不重要的特征。最后,本文将新提出的方法在真实数据集上与其他常用的特征选择方法进行实验比较,如PCA、逐步回归、LASSO和基于支持向量回归的递归特征剔除法。另外,本文还进行一组随机实验,即将特征集合随机打乱,以此来验证实验的合理性。最终的实验结果表明本文的方法与其他方法相比在UCI数据集上具有更好的特征选择效果。