随着大数据时代的到来,我们可获得的数据的数量与维度正在以几何速度的方式增长。这给我们对数据进行分析带来了极大的挑战。与此同时,样本的特征不可避免的会出现很多不相关的特征和冗余的特征,因此带来“维度灾难”。这样不仅会使学习模型的容易出现过拟合的情况,而且会让学习模型的时间复杂度和空间复杂度增大。特征选择作为一个数据降维的有效手段,在数据处理中扮演着重要的作用。本文主要关注的是高维数据中特征冗余的问题。为此,本文从如何识别特征组的角度出发,来研究如何高效的识别出特征组,并研究如何利用特征组的结构来进行特征选择。本文首先提出了一种分层特征选择的方法,该方法在带权重的协同聚类的算法中引入类标信息,提出了一种子空间聚类算法。通过聚类结果,本文提出了一种分层特征加权算法来给特征进行排序。然后在分层特征选择方法的基础上,本文提出了一种基于特征权重的方法来学习特征的重要性,以此简化模型。最后在分层特征选择方法的基础上,本文进一步分析了同一特征组中排名靠前的特征仍然可能是高度相关,于是本文又提出了一种差异性约束的方法来进一步减少特征之间的相关性。通过大量的实验我们可以知道上述三种分层特征选择方法可以有效的选择出信息量高且多样的特征。