论文部分内容阅读
分类是所有智能系统面对纷繁复杂的大量数据时,从中提取有意义信息所采取的第一个关键的处理步骤。如何通过对数据进行分析,将隐含在大量样本中的类间差异的规律归纳出来,并综合成适当分类的过程就是模式分类所要完成的工作。由于数据的复杂多样,面向的任务不同,很难找到一种通用的方法来解决模式分类问题,采用神经计算的方法处理模式分类问题是对传统统计模式分类方法的重要且有益的丰富和发展。神经计算的方法由于其具有学习能力、可以实现自组织,非线性映射等特点,丰富了传统模式分类的模型和算法,开辟了模式识别发展的新途径。研究模式分类的神经计算方法,无论对神经计算理论的发展,还是对模式分类技术的实际应用,都具有重要的意义。本文针对不同的模式分类问题,根据其具体处理的数据特点和实现目标的不同,采用神经计算的理论和方法对其进行研究,主要内容如下:
1.提出了一种基于信息论原则的自组织聚类算法GG-ICAMM。使用广义高斯分布函数来描述源向量的分布情况,分布函数的参数可以自适应的调整,从而可以更精确的刻画源的分布,使模型对数据的描述具有较好的自适应能力。利用基于信息理论的自组织原则进行参数估计并实现聚类。算法既能够反映数据的高阶统计特征,又具有一定的灵活性。实验结果验证了算法的可行性和有效性。
2.提出了基于判别熵的期望最大化聚类算法EM-MJE。以判别熵作为各个类别间距离来衡量EM算法得到的参数值聚类效果的好坏;在迭代过程中增加随机扰动机制,对参数提供一个随机的扰动量,减小算法陷入局部极小的可能性。实验结果表明,该算法更易得到有效的聚类结果。
3.提出了随机多层前馈网的退火期望最大化分类算法A-EM,并给出了算法收敛性的数学证明。利用退火思想,将神经网络类比为一个热力学系统来考察它的状态,引入退火温度参数,提出了新的条件概率密度表示方法,降低初始参数值对最终结果的影响。该算法有利于使训练结果收敛到全局极小,从而提高分类识别率。实验验证了算法的正确性和有效性。
4.提出了前馈神经网络分类器选择性集成方法CSNNE。个体网络为经EM算法训练生成的多层前馈网络并以概率向量作为输出,以个体网络输出与标准输出的差向量之间的相关系数作为各个网络之间差异性的度量标准,按照这个标准选择组成集成的神经网络个体,提高了网络个体之间的差异性。分析和实验表明,该方法可以提高网络的泛化性能。