论文部分内容阅读
随着电子商务和互联网技术的发展,数据规模日益庞大,如何在存储空间资源有限的情况下,快速、准确地分析处理数据,是目前众多大数据应用领域亟需解决的问题之一。样本选择算法通过删除数据集中的冗余样本、离群样本和噪声样本等,保留对分类器的分类过程有贡献的典型样本,在不影响数据分析性能的基础上,降低了计算资源和所需时间,成为大数据背景下进行数据预处理的重要手段之一。
本文针对传统样本选择算法无法有效选择凹面样本,以及在大规模数据分批到达时不能有效避免分类决策面移动等问题,提出了面向支持向量机(Support Vector Machine, SVM)分类模型的样本选择算法。本文首先介绍了样本选择算法的研究进展。其次提出了基于凸包和最近异类的样本选择算法,该算法通过确定每个样本的最近异类,把具有相同最近异类的样本组成同一子集,从而将原始数据集划分为多个子集,在各子集中并行地执行凸包样本选择算法,并在此基础上,设计选择策略,选择靠近分类决策面的样本。此外,设计了一种基于最近异类的、适合数据分批到来的样本选择算法,该算法同时考虑了靠近分类决策面的样本以及远离分类决策面的样本,能够确定和保留数据的完整边界样本,当数据集因规模大而需分批导入时,也可以较好地确定分类器的分类决策面。实验结果表明了所提算法能够利用较小的样本规模获得较高的分类准确率,具有较好的样本选择性能。
本文针对传统样本选择算法无法有效选择凹面样本,以及在大规模数据分批到达时不能有效避免分类决策面移动等问题,提出了面向支持向量机(Support Vector Machine, SVM)分类模型的样本选择算法。本文首先介绍了样本选择算法的研究进展。其次提出了基于凸包和最近异类的样本选择算法,该算法通过确定每个样本的最近异类,把具有相同最近异类的样本组成同一子集,从而将原始数据集划分为多个子集,在各子集中并行地执行凸包样本选择算法,并在此基础上,设计选择策略,选择靠近分类决策面的样本。此外,设计了一种基于最近异类的、适合数据分批到来的样本选择算法,该算法同时考虑了靠近分类决策面的样本以及远离分类决策面的样本,能够确定和保留数据的完整边界样本,当数据集因规模大而需分批导入时,也可以较好地确定分类器的分类决策面。实验结果表明了所提算法能够利用较小的样本规模获得较高的分类准确率,具有较好的样本选择性能。