论文部分内容阅读
动态隧道算法是一种全局优化研究方法。该算法重复以下两个过程:一是动态优化过程,在该过程中寻找一个局部最小点;二是动态隧道过程,该过程以该局部最小点为基准找到一个更小的能量区间,即提供给动态优化过程一个新的初始点。这两个过程交替进行,直到在动态隧道阶段找不到更小的能量区间。训练神经网络是一个全局优化问题,目的是找到使误差函数最小的权值距阵。BP算法以其良好的非线性映射逼近能力和泛化能力以及易实现性成为人工神经网络应用最广泛的训练算法,但是BP算法也有其明显的缺陷,即训练速度慢、容易陷入局部极值等。因此,利用动态隧道思想来训练神经网络,并且可以有效避免陷入局部极小。多轨道动态隧道算法是在传统动态隧道算法基础上的一种改进。该算法通过增加隧道搜索的方向以及引入弹性系数来增大找到全局最小点的几率。本文将这种多轨道动态隧道思想引入到BP网络的训练中,同时,采用动态修改误差限的方法,提出了一种多轨道动态隧道技术训练BP网络算法(MDTTBP)。并将该算法在XOR、某医药公司物流数据和KDD CUP三个数据集上进行了测试,对传统动态隧道技术训练BP网络算法(DTTBP)、单纯使用多轨道思想的动态隧道技术训练BP网络算法(SMDTTBP)和本文提出的使用多轨道动态隧道思想结合动态修改误差限方法的多轨道动态隧道训练BP网络算法(MDTTBP)的实验结果进行了对比分析,证明提出的算法可以有效地避免陷入局部极小,同时也提高了传统动态隧道技术训练BP网络算法的搜索效率。此外,本文还选用通过商用网络连接起来的PC机,以及并行虚拟机PVM和分布式操作系统LINUX,共同构成了一个机群系统作为并行计算平台。在并行程序的模型上选用了Master/Slave模型,采用了将训练数据平均分配到各节点机的数据并行方式,建立了本算法的并行模型。