论文部分内容阅读
特征选择是从原始特征集中选取特征子集以使特定评估标准最优的过程,是机器学习、数据挖掘以及模式识别中的一项重要技术,是当前信息领域研究的热点之一。高维数据的不断涌现对已有的特征选择算法和机器学习算法提出了严峻的挑战,迫切需要准确性和运行效率等综合性能较好的特征选择算法以及机器学习算法。基于流特征的网络流量分类或应用识别是网络测量领域的一个研究热点,而已定义的流特征有上百个,因此特征选择显得尤为重要。本文首先介绍了特征选择算法的基础知识,并简要介绍了两种典型的特征选择算法--ReliefF算法和互信息算法。结合两者的优点,并考虑到阈值的合理设置对于算法性能的重要性,提出了一种结合Wrapper思想的基于ReliefF算法与互信息度量的多类别分类的特征选择算法--RF-MI算法。该算法运用ReliefF算法去除无关特征,运用互信息度量去除冗余特征,根据分类性能评价不断迭代调整阈值,以期许达到更好的分类性能。实验结果表明本文提出的算法在分类准确率和特征维度约减效率上优于其它特征选择算法。特征选择算法主要分为Filter式和Wrapper式两大类,Filter式算法运行速度快但准确率低,Wrapper式算法运行效率低但准确率高,这两种方法具有很强的互补性,因此将Filter式算法和Wrapper式算法结合起来,充分利用两者的优点,提出了一种基于互信息和遗传算法的组合式特征选择算法--ISU-GA算法。在UCI数据集上的实验结果表明算法具有良好的分类性能。最后,本文将RF-MI特征选择算法和ISU-GA特征选择算法应用于网络流量识别中,并通过实验进行了比较与分析。在Trace Andrew系列数据集上的实验结果显示算法在保证了分类准确率的同时,较大幅度地降低了数据集的特征数目,达到了较好的特征约减效果,从而降低了构建分类模型的时空复杂度。综合考虑分类准确率和特征维度约减效率,ISU-GA算法的分类性能是比较优的,局限性在于耗时方面相对而言仍然比较多。