本文根据机器学习的相关知识,以及两年的对分类器方面的研究发现,数据的可靠性和数据的昂贵性导致我们总是获取不到理想中的真实有效的数据,数据总是充满了噪音或是数据有时候得不到标记,我们总是想通过对数据的最大化利用来减少人工的干预,这就催生了半监督学习和迁移学习。半监督学习方法总能适应只有少量标签的数据,但是通常的半监督集成学习方法有两个局限性:1)它们在高维数据集上不能获取令人满意的结果和2)它们并没有考虑如何优化和扩展训练集。在本文中我们提出了渐进式半监督集成学习算法来改善上述的两个缺陷并解决了只有少量数据有标签的问题,我们和传统的一些算法进行了对比得出该算法有两个特点:1)它采用了随机子空间技术和2)一个渐进训练集生成过程以及一个自进化样本选择过程来增大训练集,我们也采用了一些非参数测试来比较在不同数据集上的不同半监督集成学习方法的准确度,实验结果基于加利福尼亚大学的18个真实数据集。本文还介绍了关于迁移学习方法中的样本选择的过程,阐述了迁移学习是如何通过样本选择方法来利用源域以提高对目标域的预测准确率,并做对比实验来证实该方法具有一定的有效性,最后阐述了样本选择的具体过程以及对优化过程的促进作用,并分析实验结果得出样本选择的适用范围。