特征选择作为维度约简的重要方法之一,一直活跃在机器学习与模式识别的研究舞台上。特征选择由于其本身的可解释性和对原特征的保护性,能够帮助人们理解特征和数据之间的因果关联,因而被广泛应用于生物信息学,文本分类,图像处理,以及社交媒体网络等领域。随着大数据时代的到来,特征选择任务也面临着许多挑战,比如数据存在噪声,在无监督情况下样布空间结构难以估计,传统嵌入式方法存在潜在的过拟合风险等等,同时特征选择处理的数据的形式也由传统的静态数据逐步演变为更加常见的动态数据。本文针对特征选择任务中存在传统问题,以及面对的新挑战,进行了一些探索和尝试。主要的研究成果归纳如下:首先,本文提出了一种新的协同学习框架用于特征选择。具体来说,为了进一步提高被选择子集的泛化性能,除了传统方法中用于分析已选择特征质量的分类器之外,该方法引入了一个额外的分类器用于监控未选择的特征的质量,也就是说,它将会惩罚未选择特征出现低分类损失的情况,借此迫使有价值的特征尽可能多的进入被选择子集。本文设计了一个双层优化模型用于实现两个分类器的协同学习,同时通过稀疏约束实现特征选择,最后利用一个简单有效的梯度算法进行优化。此外,本文还从理论上证明了所提出的模型能够提高传统嵌入式特征选择方法的泛化能力。最后,在人工合成数据集和真实数据集上的大量实验显示了该模型的可解释性以及优秀的性能。其次,本文提出了一种基于低秩结构保持无监督特征选择的方法。为了削弱所选特征之间的“相似性”,同时增强高度相关样本之间的“相似性”,本文从组稀疏正则化的数据重构和低秩正则化的结构保持这两个角度出发,提出了一种新的无监督特征选择模型。其中,稀疏约束消除了冗余特征和不相关特征,降低了特征之间的相似性,这有助于学习过完备字典,并在低维嵌入中进行数据重建;同时,利用低秩约束使得那些能够保持样本之间的相似性的特征被选择出来。通过字典衔接了这两个子任务。这样,根据所学到的字典,使得样本有了更紧实的表示,有利于构建更准确的样本系数矩阵,然后根据样本系数矩阵所得到的聚类结构反过来进一步指导特征选择。理论和实验结果均证明了该方法的有效性。随后,本文提出了一种基于非负稀疏子空间学习的特征选择模型。该方法在统一的框架下同时进行鲁棒无监督特征选择和稀疏子空间学习。在该框架中,对特征权重矩阵同时施加组稀疏约束和非负约束,增强了模型的合理性;使用稀疏正则刻画残差,在实际应用中降低了稀疏噪声和离群点的负面影响,提高了模型的鲁棒性。针对模型中同时出现的组稀疏约束以及非负约束,本文设计了一个交替优化策略,求解这个非凸非光滑模型,并从理论上证明了该算法的收敛性。值得一提的是,该模型的非负迭代乘子有别与以往常用的纯加性原则,但本文给出了这个迭代乘子的非负性证明。此与以往通过迭代计算矩阵逆来求解组稀疏约束的方法相比,本文提出的算法简单高效。最后,在各类真实数据集上的大量实验证明了本文提出方法的有效性和鲁棒性。最后,本文提出了一种基于度量融合的去冗余流特征选择框架。流特征场景下,数据充满大量冗余信息。同时,在无监督的情况下,样本空间结构难以通过部分已到达的特征一次性完整描述。现存的无监督流特征选择算法通常利用特定回归模型的简化近似形式进行在线测试,无法对样本空间的结构进行动态估计和保持,因此难以在流特征场景下较好的维持数据的本征特性,从而进一步影响特征的评价的准确性。为了克服这一问题,本文利用度量融合的思想,在特征选择过程中维护一个刻画最新数据距离关系的度量矩阵,根据每批新数据来自适应的更新这一度量矩阵。用不断融合的度量矩阵指导下一批次特征的选择,并采取距离矩阵对齐的思想建立了优化模型,抛弃新批次数据中与累积特征最冗余的特征,达到自适应在线去冗余的目的。本文采用稀疏约束刻画特征选择向量,并设计了迭代阈值收缩算法来求解所提出的优化模型,推导出了复合阈值算子,并分析了算法的收敛性。在主流的特征选择数据集上验证了算法的有效性。总的来说,利用稀疏、低秩的理论研究成果,设计特征选择模型,具有物理上的可解释性以及理论上的收敛性保证,因此该类算法效果出色,具有一定的研究意义。本文围绕特征选择这一核心任务,结合稀疏、低秩理论的最新成果,构造了监督条件下双分类器协作的特征选择框架;分别设计了针对噪声数据,低秩结构数据的无监督算法;提出了流特征在无监督情况下的在线选择方案。全文涉及了静态和动态数据两种应用场景,为不同应用背景下的特征选择任务提供了一些新的思路。