集成学习是一种新的机器学习范式,它通过对弱学习机进行整合,获得达到强学习机效果和质量的整体输出。集成学习从统计学上、计算上和表示上的三个方向,而不是直接从人工智能和学习算法的方向上,有效地提高了机器学习的效果,这从机器学习研究的方法论上来说是一个重大的进步。神经网络集成是指子学习机为神经网络的集成学习算法,由于人工神经网络本身就被很广泛地用于各类分类算法,所以神经网络集成也是分类器集成最常用的一种计算框架,成为目前国际机器学习和神经计算界的一个长期活跃的研究热点。现有的集成学习算法存在两个比较普遍性问题。一是通用性问题。没有一个“万能算法”能解决所有的问题,必须具体问题具体分析。二是性能问题。集成学习算法带来了数倍于单学习机模式的计算量,在实时系统或者海量数据处理系统的应用中会导致性能问题。针对上面这两类问题,本论文的研究目标主要包括:一是分别针对低维数据和高维数据这两种比较典型的分类问题,提出了更加合适的集成算法组合。二是提出针对并行性计算优化的集成算法,并将并行集成学习算法应用在并行计算框架上解决实际问题。具体如下:1、现有基于模糊积分的神经网络集成算法,一般是以衡量正确率的模糊密度为基础的,这样来确定子神经网络权重的方式不够全面。本论文设计了一个能够从正确率、误差距离和失效程度三方面更加有效和全面衡量子神经网络重要程度的模糊密度,并将其用于神经网络集成器的计算。通过对双螺旋分类问题的研究,证明了提出的神经网络集成算法在这种典型的低维度数据分类问题上的有效性。2、高维度数据的分类问题,一般都需要基于特征抽取或者特征选择的数据降维预处理。本论文设计了一种方法,通过采用多种特征抽取方法来对同一原始训练数据获得多个训练集,从而提高子神经网络差异性。在另一方面,经典的Adaboost算法在用于多类分类问题时,容易忽略整体正确率不高、但对某个类别拥有分类“特长”的子神经网络。本论文提出多维Adaboost(Multi-Dimension Adaboost,MD-Adaboost)算法,通过为子神经网络对于不同分类的输出设置独立权重,使得各个子神经网络在输出集成中能够拥有更加合理的权值,从而提高神经网络集成分类器的整体性能。该算法应用在人脸表情识别(Face Expression Recognition,FER)中获得了较好的结果。3、集成分类算法在海量数据集的训练和分类中会产生巨大的计算量,针对这个问题,本论文提出了基于Mapreduce并行计算框架和遗传算法的并行选择性神经网络集成算法(Maprduce-baesd Selective Neural Network Ensemble with GA,MSNNE-GA)。算法通过“选择”的手段降低了集成分类器的规模,同时通过使用Mapreduce框架实现了集成分类器在训练、选择和分类多个阶段的并行计算,有效缩短了算法的运行时间。实验中使用该算法更优地解决了双螺旋分类问题,同时与单个分类器相比,分类的速度也有了大大的提高。4、上面提出的MSNNE-GA算法是全局优化算法的一种,但其使用遗传算法的选择过程并行度不高,而且存在频繁的数据交换损耗。除了全局优化选择算法,选择性神经网络集成常用的方法还包括聚类。本论文提出了另一种可并行的选择性神经网络集成方法(Selective Neural Network Ensemble with K-means and PSO,SNNE-KP),通过将聚类和类内的全局优化算法(或称局部优化算法)结合起来,不仅从提高子神经网络的多样性和准确性这两个方面来共同提高神经网络集成的质量,而且还提高了算法的整体并行度。在对UCI部分数据集进行分类的实验中,SNNE-KP算法获得了更好的分类准确率。除此之外,基于Hadoop的并行计算也能有效的提高神经网络集成分类器的构造速度和分类速度。5、对基于混合神经网络计算平台(Hybrid Neural-Net Computing Platform,HNetCP)的分布式虚拟仿人机器人(Virtual Humanoid Robot,VHR)进行了扩展,将基于Hadoop的并行计算框架作为机器人的学习模块,实现了基于以上提出的SNNE-KP神经网络集成算法框架实现了人脸识别算法。在实验中完成了人脸识别与三维仿真系统的联动控制,并对集中式VHR和分布式VHR进行了对比分析。