论文部分内容阅读
对称性在自然界中处处可见，知觉系统从在变化着的环境中提出相对稳定的性质这一功能就意味着某种变换不变性的存在。在我们了解自然的尝试中，对称性提供了一个强有力的工具。 本文将人工神经网络视为神经元的结构集，并从这个基本观点出发，从三个方面，即对称性的分析、表示以及计算，对Hebb型的离散Hopfield模型神经网络进行全面的、深入的研究，揭示了Hebb法则这种特殊的存储规则的机理，并以此来达到加深对整个网络的联想记忆机理认识的目的。 在对Hebb学习法则的离散Hopfield模型神经网络对称性分析中，我们以等距变换群G=Z2（?）Sn为手段，研究了网络状态空间在群G作用下各点的运动情况，证明了群G作用下的不变性。证明了当神经元的激活函数f为奇函数时，Hebb法则下存储样本集X的对称性SX、网络对称性SH以及连接矩阵对称性SW三者之间满足SX=Sw=SH的关系；同时，我们还证明了：网络稳定态集VF同一SH轨道中的两个稳定态的动力学行为（能量和吸引域大小）相同；两个等距网络H和H′1=g·H，（?）g（?）G的对称性SH和S′N的关系为S′H=g·SH·g-1；等距变换不会改变网络稳定态集的动力学性质等一系列的结论。所有这些研究结果表明了Hebb学习法则是通过调整网络的连接矩阵，使得其的结构的对称性包含存储样本集的对称性这一存储机理。这就是联想记忆网络所蕴含的深层的物理效应。这一点与Stefan Reimann通过研究网络的整体动力学性质来分析联想记忆网络所得的结论是相同的。利用这种对称性关系，既可以揭示“学习就是寻找样本集对称性”这一学习的内涵，又可以在联想记忆网络的分析与设计中减小连接权计算的复杂度。 将神经网络看作具有对称性的动力学系统就产生了相应的几何方法。本文在这方面所做的工作如下：首次将一些特殊网络的结构和吸引子集的置换对称性用三维欧氏空间中的一些几何图来表示，分别称之为几何结构图和吸引子图；给出了网络对称性的几何化条州即相应的对称性群为可迁群)：并惜助网络的几何结构图和吸弓吁图分析网络的动力学性质；此外，我们提出了用简单的具有一定对称性的小网络按照群的直和、半直积和直积的方式组合成较大的网络的方法，探讨了这些小网络和所组成的大网络的一些动力学性质的关系，如稳定态的个数、各稳定态的回忆性质等，为较大网络的设计提供一些理论依据。 此外，将对称性应用于网络的分析与设计时，不可避免地要解决网络对称性的计算问题。我们指出遍历法求解连接矩阵或样本集置换对称性所存在的计算复杂度问题，提出应用遗传算法计算样本集和连接矩阵置换对称性的方法。并用 Wsual C－－－－－－－－语言分别设计了求解网络连接矩阵和给定样本集的置换对称性相应的遍历法和遗传算法的程序，在PC机上进行数值模拟计算，比较遍历法和遗传算法的计算结果。结果表明，用遍历法求解高维网络的置换对称性的计算复杂度为O（12”），因此实际上是不可能完成的，而遗传算法却能在多项式时间内求出大部分的对称置换操作，再利用群本身的结合律，便可能计算出所有的对称置换操作。这为对称性方法在联想记忆网络设计的应用提供了向高维网络拓展的实际可能性。