特征选择是数据挖掘、机器学习的一个基本问题。过去十几年来，许多度量手段被用来度量特征的重要性，众多研究成果相继诞生。其中，互信息作为一种非线性、无量纲的度量标准被广泛应用到特征选择技术中。　　总体来说，基于互信息的特征选择方法的三个核心问题是:(1)特征与类别的依赖关系;(2)特征与特征的相关性;(3)前面二者的权重比例。目前，许多学者通过设置不同的参数提出了一系列方法。　　针对以上三个核心问题，本文首先将多类问题转化为多个两类问题，对于每个两类问题，采用归一化的互信息定义特征分类能力，以此为基础给出特征分类能力互补性的概念，改进传统基于互信息的特征选择方法的准则函数，提出基于特征分类能力互补性的特征选择方法。实验表明，基于该方法所选取特征构造的三种分类器的分类准确率，在大多数情况下占优。　　其次，本文针对微阵列数据小样本的特点，提出一种基于混淆矩阵的自适应的互信息估算方法，它避免了多层迭代地划分样本平面，仅由样本的重叠情况估算概率，从而计算互信息。实验结果表明，该方法具有较低计算复杂度，为基于互信息的特征选择方法提高了计算效率。　　最后，结合新的互信息估算方法，本文提出基于特征分类能力互补性的特征子集选择方法。它将特征分类能力定义为条件互信息，得到特征分类能力矩阵，以此表征特征与类别的依赖关系。考虑特征间的相关性，用联合熵表示特征间的互补性，用归一化的互信息表示特征冗余性，并用二者之差作为进一步候选特征的标准。新方法将特征选择过程分为两个步骤进行，避免了特征相关性与冗余性两项度量不均的问题。为验证改进方法的优劣，在四个机器学习标准数据集和七个基因表达数据上，与四个经典的基于互信息的特征选择方法的对比实验中，新方法构造的三个分类器的分类准确率大多数情况下占优。另外，达到同等准确率时，新方法选择的特征数目一般少于其他方法，表明新方法选择的特征不仅具有强类别相关性，而且特征间互补性高，存在冗余较少。