相对于基于梯度学习的前馈神经网络,随机前馈神经网络(RFNN,Random Feedforward Neural Network)具有更快的学习速度和良好的泛化性能,近年来得到了深入研究与广泛应用。因随机设置网络输入层权值和隐单元阈值,RFNN存在两个主要缺陷:(1)相对于基于梯度学习的前馈神经网络,RFNN需要更多的隐层神经元,增加了网络复杂性,导致网络泛化性能降低。(2)非最优或非近似最优的网络输入层权值和隐单元阈值会使RFNN输出层权值非最优或非近似最优,从而降低网络的泛化性能。因此,优选合适的网络输入层权值和隐单元阈值是提高RFNN性能的关键。相对于其它启发式优化算法,粒子群优化(PSO,Particle Swarm Optimization)算法需要调整的参数少,无复杂的进化操作,实现简单,只需较小的演化群体,在很多非线性优化问题方面都取得了良好的效果。因此,为克服因随机设置网络输入层权值和隐单元阈值所带来的缺陷,本文运用PSO分别对单隐层RFNN、集成RFNN和深度RFNN进行优化,在提高这三类网络性能的同时降低它们的复杂度。本文研究为前馈神经网络性能的提高和群智能优化算法的改进提供了新的思路,主要工作包括:1.针对RFNN因随机设置输入层网络权值和隐单元阈值而导致网络的隐层神经元数目过多、泛化性能不高,提出了一类运用PSO编码网络输入输出灵敏度信息优化单隐层RFNN学习方法(PSOIOS-ELM)。该方法在运用PSO对网络的输入层网络权值和隐单元阈值进行优化时,根据网络在训练样本集上的输入输出灵敏度信息,调整各粒子的个体历史最优位置和种群的全局最优粒子位置,在提高算法收敛精度的前提下,降低网络的输入输出灵敏度。PSOIOS-ELM方法通过合理降低网络的输入输出灵敏度,有效减少隐单元的数目、增加网络的鲁棒性、提高网络条件性能和泛化性能。在多个回归和分类问题上的实验结果验证了所提出方法的有效性。2.为了克服传统集成RFNN的缺陷,提出了一类基于双重优化策略的集成随机前馈神经网络优化学习方法(DO-EOBELM),包括备选RFNN库的生成、成员RFNN的选择与集成、冗余成员RFNN的剔除。为了提高备选RFNN的差异性,该方法首先利用生成正交基的方法产生相互正交的RFNN集合,并从中筛选低输入输出灵敏度RFNN建立备选RFNN库;其次,在综合考虑集成系统的分类性能和差异性的基础上,利用吸引排斥粒子群优化(ARPSO,Attractive and Repulsive Particle Swarm Optimization)算法从备选RFNN库中筛选成员组成集成系统;再次,利用ARPSO对各成员RFNN集成权值进行优化;最后,根据集成权值大小剔除集成系统中冗余的成员RFNN,在保证集成系统收敛性能的基础上提高其紧凑性。在函数回归、基准数据分类和基因表达谱数据分类等问题上的实验结果表明,DO-EOBELM方法能够构建网络结构更为紧凑、泛化性能更优的集成随机前馈神经网络系统。3.针对传统深度RFNN因随机设置各隐层对应的自动编码器参数,而使其性能受到影响,提出了一类基于PSO的深度随机前馈神经网络优化学习方法(PSO-ML-ELM)。该方法首先利用PSO耦合网络的输入输出灵敏度信息,对各隐层对应的自动编码器的输入层权值和隐单元阈值进行优化,从而通过改善各个自动编码器的性能来改善深度随机前馈神经网络的性能。然后利用PSO对整个深度随机网络的权值做简单优化,进一步提高深度随机前馈神经网络的性能。在不同的数据集上的实验结果表明PSO-ML-ELM方法在时间开销和泛化性能方面有较好的平衡。4.对方法PSOIOS-ELM和DO-EOBELM分别进行了理论分析。针对方法PSOIOS-ELM中输入输出灵敏度函数计算量较大的问题,根据网络隐单元激活函数的导数函数的单调性情况,推导出几类简化的网络输入输出灵敏度函数,在保证网络泛化性能的基础上降低了网络的训练开销。针对方法DO-EOBELM中剔除集成系统中冗余的子网络时,阈值难以确定的问题,论文在分类问题上给出了理论分析,为相应阈值的确定提供了理论指导。