生物信息学、信息检索以及图像挖掘等大规模机器学习问题的不断涌现，对已有的特征选择算法和机器学习算法提出了严峻的挑战。人们迫切需要适应大规模数据集的特征选择算法和机器学习算法，并且对它们的准确性和运行效率等综合性能都有较高的要求。本文在高维数据的特征选择算法和基于特征选择的组合分类器构建问题上开展了研究。 文章提出了一种综合了Filter模型及Wrapper模型的特征选择算法FSRAGA。该算法首先利用特征与类别标签的相关性分析进行特征筛选，只保留与类别标签具有较强相关性的特征，然后针对经过筛选的精简特征子集采用遗传算法进行随机搜索，用分类错误率作为评价标准。实验比较表明，该算法能发现更好的特征子集从而实现降维并提高分类精度。 本文在FSRAGA算法的基础上，查找出一系列分类性能较优的候选特征子集，引用特征子集的稳定性概念作为评价标准，利用差异性较大的特征子集组合来构造组合分类器，实验表明该评价标准有助于提高组合分类器的性能。