论文部分内容阅读
本文研究用于求解优化问题的神经网络以及神经网络本身的优化。对于前一问题,我们考虑一种用于连续优化问题的无监督神经网络算法SOMO,给出一种改进方案.对于后一问题,我们考察由一个单层和一个多层前馈神经网络的并行连接而成的双并联前馈神经网络(DPFNN),研究其基于极端学习机(ELM)及L1/2的权值正则化。本文第一章介绍SOM、SOMO、DPFNN神经网络以及ELM算法。在第二章,我们研究SOMO算法。由Kohonen提出的自组织映射神经网络(SOM)被广泛用在信息科学领域。特别地,Mu-Chun Su等研究者提出了一种SOMO算法。这种算法是通过一种竞争学习过程来找到一个获胜单元,而这个获胜单元代表了目标函数的最小值。在这章中,我们通过使用m个胜利单元把SOMO算法推广到ISOMO-m算法。数值实验表明,当m>1时,对于寻找函数的最小值问题,SOMO-m算法比基于SOM的优化算法(SOMO)收敛得更快。更重要的是,当m>1时,SOMO-m算法可以在一步学习迭代过程中同时寻找2个或者更多个最小值,而原始的基于SOM的优化算法(SOMO)要通过2次或者更多次重新开始学习迭代过程来完成这个相同的任务,效率较低。在第三章,我们研究了最大最小SOMO算法。在这章中,我们把SOMO算法推广到最大最小SOMO算法。这种算法可以同时找到2个胜利单元,其中一个胜利单元代表目标函数最小值,另外一个代表目标函数最大值。数值实验表明,当我们对目标函数的最大最小值都感兴趣时,最大最小SOMO算法比普通SOMO算法效率更高。在第四章,我们给出了基于SOM的优化算法(SOMO)的收敛性分析。更具体地,对于SOMO神经网络,我们在一定条件下证明了其神经元在每步迭代之后会变得越来越近,最后收敛到一点,并且每步迭代之后胜利单元的函数值也是下降的。在第五章,对于DPFNN,我们提出了基于ELM及L1/2正则化的一种学习机制。对于带有单隐层的前馈神经网络,ELM作为一种快速学习算法被广泛使用。对于ELM算法,一个重要问题是隐层单元数目的选择。为了解决这个问题,我们把近来流行的L1/2正则化和极端学习机(ELM)结合起来,使得隐单元数目以自组织方式大为减小,同时网络的推广精度有所提高。