论文部分内容阅读
人工神经网络是最早得到广泛应用的一种机器学习技术。然而，人工神经网络存在过拟合、泛化能力不强、容易陷入局部极小、隐层节点数难以选择等问题，这些问题阻碍了人工神经网络的进一步发展。 受随机森林思想的启发，本文提出一种组合BP神经网络的新方法，即在单个BP神经网络的训练中，采用Bagging方法随机选取训练样本，同时根据新的隐层节点经验公式在一定的范围内随机选取隐层节点数。对于分类问题，组合BP神经网络的最终输出采用简单多数投票法获取;对于回归问题，BP神经网络的最终输出采用的是简单平均法获取。两个随机性的引入，增大了个体BP神经网络之间的随机差异性。与传统组合BP神经网络的对比实验表明，不论是分类问题还是回归问题，本文的方法都取得了与传统方法相近的分类或回归性能，而训练时间却大大少于传统方法。此外，本文的方法也提供了许多附加的输出，如OOB准确率，变量重要性排序，预测结果的置信度和样本间的相似度矩阵等，可供更深层次的应用。