论文部分内容阅读
数据挖掘是目前人工智能和数据库领域研究的热点问题,数据分类是数据挖掘研究中一个重要的分支,而对于数据分类算法的研究存在一个很大的问题,即传统的数据分类算法大部分都是有监督式的,所以在分类的过程中需要大量的被标注类别的训练集来训练分类模型。但是现实世界中数据都是没有进行标注的,因此,需要人工进行标记,这种代价十分昂贵,尤其对于当今社会,海量数据的不断产生,对训练集的需求更大,使数据分类的研究面临一个十分巨大的挑战。主动学习为这一问题提供了一个很好的解决方式,主动学习的目的是通过在未标记的样本池中选择那些对分类最有帮助的样本进行人工标记来构造分类需要的训练集,这样做不仅减少了人工标记的代价而且缩小了训练集的规模,对于数据分类中遇到的瓶颈是一个很好的解决方式。本文将从这一点出发,将主动学习与数据分类算法中两种经典的分类算法(SVM,KNN)进行融合研究,首先详细分析了主动学习以及两种分类算法的原理及执行流程,接着提出了面向大数据的主动学习数据分类算法,本文主要的贡献如下:1.提出了主动学习多分类SVM算法的--BC-Multiple-SVM,对于样本选择算法中样本均衡问题提出了面向大数据的改进算法,设计了基于MapReduce的分布式样本选择算法的实现。2.提出了主动学习KNN算法-Uncertainty-KNN算法,针对KNN算法中样本选择算法中样本不确定度的计算以及选择,提出了面向大数据的样本选择算法,设计了基于MapReduce的分布式样本选择算法的实现。3.在搭建的Hadoop平台上针对不同的大数据集对提出的算法进行了对比实验,结果表明本文提出的SVM样本均衡策略的精确率更高,而且整体而言,通过主动学习的样本选择策略构造的训练集规模更小而且精确率很高。4.除此之外,本文还通过对SVM及KNN算法在不同数据集上的性能测试实验,对算法运行的时间进行了分析,分析了各个算法的适用情况。