论文部分内容阅读
增量学习(Incremental Learning)是机器学习领域的一个研究热点,在很多领域都有广阔的应用前景。负相关学习(Negative Correlation Learning,NCL)是一种成功的神经网络集成学习方法,它鼓励集成的个体网络的差异性,使不同个体网络针对数据集的不同部分进行训练和学习,具有“部分学习(Partial Learning)”的效果,从而使集成整体更好地学习整个数据集并且能够克服“遗忘性”,表现出一定的增量学习潜力。
围绕着基于负相关神经网络集成的增量学习的研究和应用,本文主要的工作是:
1)介绍了增量学习的发展背景,详细描述了增量学习的定义,以及相对于传统批量学习方式的优势,介绍了增量学习的研究现状和一些经典的算法,对增量学习当前存在的难点问题和研究热点进行了讨论。
2)介绍了集成学习的思想和概念,并在此基础上引入负相关学习的概念,详细介绍了负相关学习的算法原理,讨论了它在增量学习领域的应用(Fixed Size NCL和Growing NCL)。
3)对现有NCL增量学习算法进行了实验研究,发现对于不同的测试问题和不同的增量方式,NCL参数的选择对于增量学习性能有较大影响。提出利用演化算法优化选择NCL参数,再用该组NCL参数实施增量学习。在多个典型测试问题上的实验结果表明,本文方法能有效提高NCL增量学习的鲁棒性、改进算法性能,同时避免了手工调节参数的局限性。
4)为了解决人脸检测完备样本库难以采集的问题,同时作为增量学习实际应用的一种有益尝试,把增量学习引入人脸检测器的设计和训练。介绍了人脸检测的概念、发展现状和一些经典算法,讨论了人脸检测(特别是正面竖直人脸)当前的难点和重点,论证了增量学习应用于人脸检测的可行性和优势。设计和实现了一种基于NCL的增量式人脸检测系统,使得人脸检测器拥有渐进学习的能力,并用检测结果验证了方法的有效性和可行性,讨论分析了方法的增量性能。