论文部分内容阅读
分类问题一直是机器学习和数据挖掘领域的重要问题之一。数据集的不平衡问题一度被视为影响分类效果的主要因素,学术界分别于2000年和2003年举行会议进行了讨论,学术成果相当丰富。但随着研究的深入,陆续有学者提出数据集的不平衡问题并不是影响分类效果的关键因素,而不同类别的样本在样本空间上的重叠问题才是导致分类精度不高的主要原因。目前数据集重叠问题已逐渐成为新的研究热点,受到越来越多研究者的关注。现有的处理数据集的重叠问题的方法主要是选择性删除数据和特征提取。选择性删除数据的目的是找出数据集重叠的区域,并将该区域的样本删除,常用方法有Data Clean和Edit。而利用特征提取算法处理数据集的重叠问题的研究目前还只停留在理论阶段。
本文提出了两个处理数据集重叠问题的方法:基于离群点检测的处理方法,融合了Tomek Links和KNN两种传统方法,从样本集中找出最近邻类标与之相反的样本,然后利用KNN方法判断其是否是离群点,若是,则将其删除。基于半监督学习法的处理方法,采用的是Co_training方法。本文将这两种方法应用于UCI数据库中的数据集,并且与传统处理方法进行比较,相对于传统方法,本文提出的两种处理方法适用性较广且大多数情况下分类效果有较好的改进。