论文部分内容阅读
摘 要： 在多项式神经网络训练算法中，当采用智能优化算法进行学习优化时，智能优化算法的控制参数对学习效果有很大影响，针对这一问题，本文提出了一种多项式神经网络的智能优化方法，其的控制参数是通过对单形领域的完全随机搜索来使用的，且粒子的多样性是通过种群的多特征状态来维持的，以避免算法陷入局部最优解，试验结果表明，该算法训练的神经网络不仅能有效提高识别率，而且能减小控制参数对学习性能的影响，提高算法的整体鲁棒性。
关键词：多项式神经网络;识别率;进化策略;分类
Abstract： In the polynomial neural network training algorithm， when the intelligent optimization algorithm is used for learning optimization， the control parameters of the intelligent optimization algorithm have a great impact on the learning effect. In order to solve this problem， this paper proposes an intelligent optimization method of polynomial neural network， whose control parameters are used by completely random search in the simplex field， The experimental results show that the neural network trained by the algorithm can not only effectively improve the recognition rate， but also reduce the influence of control parameters on the learning performance， and improve the overall robustness of the algorithm.
Key words： polynomial neural network; Recognition rate; Evolutionary strategy; classification
1 引言
随着信息技术的不断发展，人工智能也在不断发展。在20世纪40年代，一个跨学科的人工神经网络被开发出来。它是一个简化的人工智能系统，模拟生物神经系统的结构、过程和功能[1]，作为人类智能研究的重要组成部分，生物神经系统的处理和功能可以应用于许多学科，因此，它已成为许多学科关注的焦点[2]。由于人工神经网络是一种最接近人类实现的机器学习算法，目前已有近40种神经网络模型[3-7]。虽然人类学习如何区分事物很容易，但生物学的过程非常简单。另外，参数对神经网络有很大的影响。
多项式神经网络（PNN）是根据用户的需要自动生成网络层和节点的一种神经网络学习算法，具有很强的自适应能力。在高度非线性系统仍然存在一些缺陷，网络变得非常复杂[8]。
目前，大多数学者对全局优化问题感到困惑，提出了许多不同的全局优化算法，但该算法仍存在一些不足。例如，为了避免在搜索过程中陷入局部最优，大多数算法都是通过设置多个控制参数来实现的。同时，大多数改进算法都是通过增加算法的复杂度或引入更多的控制参数来实现的。这必然导致计算速度的降低和计算时间的延长。
在此基础上，本文将单形进化智能优化算法引入到多项式神经网络中进行学习。
2 多项式核函数神经网络
考虑到實际应用数据的相关性，本文选取具有全局性的多项式核函数[9]，设d为正整数，则d阶齐次多项式函数为：
3 基于单形进化的多项式神经网络训练算法
3.1 一种新的智能优化算法
本文提出了一种新的智能优化算法，对新的智能优化算法的具体性能和原理、算法的理解在文献[10]中有较好的认识。该新的优化算法的目的是提高智能优化算法的收敛性和稳定性。新的智能优化算法训练多项式神经网络的基本步骤如下[17-18]：
（1）根据搜索空间的均匀分布，将X个粒子进行初始化和随机定位;
4 仿真实验
4.1 数据集概述
为了保证实验结果的可靠性和准确性，本文在UCI数据库中选取了两组数据集，对特征进行测试。
（1）乳房组织数据集[11]
测量了64名妇女106个乳腺样本的电阻抗特性[12]。测量了所有乳腺标本在7个频率下的电阻抗特性，提取了9个特征。根据样本数量和阻抗特性，将其分为六类，如表所示。
（2）葡萄酒数据集[13]
对同一地区种植的3种不同葡萄品种的13种成分进行了化学分析。这13个分量的个数作为特征向量。葡萄酒品种分为三大类，分别用数字1、2和3表示。其中，第一类样本59个，第二类样本71个，第三类样本48个。
4.2 实验结果
（1）乳房组织数据集
表2显示实验训练测试的样本总数为9个，每个类的样本数为14个，与现有一些方法的识别率进行了比较。
（2）葡萄酒数据集
表3显示了这些数据的不同识别率，结果1nn（Z变换数据）的识别率来源于对葡萄酒识别数据集的描述。
通过以上数据的比较，得出以下分析结果：
1）从表2和表3可以看出，新算法的识别率高于大多数现有算法，但略低于一些已成熟的算法。 2）图2和图4表明，迭代次数的增加与样本数的增加有关，从而导致收敛速度的降低。
3）图3和图5表明，迭代次数的增加与特征值个数有关，从而导致收敛速度的降低。
4）该算法以种群数为控制参数，收敛速度快，且只需要一个控制参数，可以以较低的复杂度获得更好的性能。例如，虽然GA-SVM在乳腺组织数据集中列出的识别方法中识别率最高，但其识别率差异很大。识别率在92.31%～69.23%之间，只有在参数最优的情况下才能实现最佳。
5）实验发现当样本数据具有总体分布特征时，选择多项式核函数来提高识别率。
5 结论
本文提出了一种新的多项式神经网络智能优化学习算法，并进行了实验研究。单形进化算法充分利用了其全局搜索和控制参数的优点， 它平衡了搜索精度和搜索范围，提高了收敛性能的方差和平均指标，体现了算法的稳定性和可靠性。应用于分类，并与其他算法进行了比较。实验结果表明，虽然实验中选取的两个数据库的识别率都不高，但单参数控制和多角色状态保证了算法的鲁棒性。且样本数据具有总体分布特征时，选择多项式核函数来提高识别率。
参考文献：
[1] 张青贵. 人工神经网络导论[M].北京：中国水利水电出版，2004.
[2] Xu Y J，You T，Du C L.An integrated micromechanical model and BP neural network for predicting elastic modulus of 3-D multi-phase and multi-layer braided composite[J].Composite Structures，2015，122：308-315.
[3] Cheng C，Cheng X S，Dai N，et al.Prediction of facial deformation after complete denture prosthesis using BP neural network[J].Computers in Biology and Medicine，2015，66：103-112.
[4] Zhou F，Peng H，Qin Y M，et al.RBF-ARX model-based MPC strategies with application to a water tank system[J].Journal of Process Control，2015，34：97-116.
[5] Qin Y M，Peng H，Zhou F，et al.Nonlinear modeling and control approach to magnetic levitation ball system using functional weight RBF network-based state-dependent ARX model[J].Journal of the Franklin Institute，2015，352（10）：4309-4338.
[6] 张德丰.MATLAB B2016a智能计算25个案例分析[M]. 北京：清华大学出版社，2017.
[7] 李喆，吕卫，闵行，等.机器学习在乳腺肿瘤分类检测中的应用研究[J].计算机工程与科学，2016，38（11）：2303-2309.
[8] 杨晓伟，郝志峰.支持向量机的算法设计与分析[M].北京：科学出版社，2013.
[9] 梁礼明，钟震，陈召阳.支持向量机核函数选择研究与仿真[J].计算机工程与科学，2015，37（6）：1135-1141.
[10] Quan H， Shi X. A Surface-Simplex Swarm Evolution Algorithm[J]. 武漢大学学报（自然科学英文版）， 2017， 22（1）：38-50.
[11]Marques J P， Jossinet J. Breast Tissue [DB/OL]. 2010-05-10. http：//archive.ics.uci.edu/ml/datasets/Breast Tissue.
[12] Jossinet J.Variability of impedivity in normal and pathological breast tissue[J].Medical
关键词：多项式神经网络;识别率;进化策略;分类
Abstract： In the polynomial neural network training algorithm， when the intelligent optimization algorithm is used for learning optimization， the control parameters of the intelligent optimization algorithm have a great impact on the learning effect. In order to solve this problem， this paper proposes an intelligent optimization method of polynomial neural network， whose control parameters are used by completely random search in the simplex field， The experimental results show that the neural network trained by the algorithm can not only effectively improve the recognition rate， but also reduce the influence of control parameters on the learning performance， and improve the overall robustness of the algorithm.
Key words： polynomial neural network; Recognition rate; Evolutionary strategy; classification
1 引言
随着信息技术的不断发展，人工智能也在不断发展。在20世纪40年代，一个跨学科的人工神经网络被开发出来。它是一个简化的人工智能系统，模拟生物神经系统的结构、过程和功能[1]，作为人类智能研究的重要组成部分，生物神经系统的处理和功能可以应用于许多学科，因此，它已成为许多学科关注的焦点[2]。由于人工神经网络是一种最接近人类实现的机器学习算法，目前已有近40种神经网络模型[3-7]。虽然人类学习如何区分事物很容易，但生物学的过程非常简单。另外，参数对神经网络有很大的影响。
多项式神经网络（PNN）是根据用户的需要自动生成网络层和节点的一种神经网络学习算法，具有很强的自适应能力。在高度非线性系统仍然存在一些缺陷，网络变得非常复杂[8]。
目前，大多数学者对全局优化问题感到困惑，提出了许多不同的全局优化算法，但该算法仍存在一些不足。例如，为了避免在搜索过程中陷入局部最优，大多数算法都是通过设置多个控制参数来实现的。同时，大多数改进算法都是通过增加算法的复杂度或引入更多的控制参数来实现的。这必然导致计算速度的降低和计算时间的延长。
在此基础上，本文将单形进化智能优化算法引入到多项式神经网络中进行学习。
2 多项式核函数神经网络
考虑到實际应用数据的相关性，本文选取具有全局性的多项式核函数[9]，设d为正整数，则d阶齐次多项式函数为：
3 基于单形进化的多项式神经网络训练算法
3.1 一种新的智能优化算法
本文提出了一种新的智能优化算法，对新的智能优化算法的具体性能和原理、算法的理解在文献[10]中有较好的认识。该新的优化算法的目的是提高智能优化算法的收敛性和稳定性。新的智能优化算法训练多项式神经网络的基本步骤如下[17-18]：
（1）根据搜索空间的均匀分布，将X个粒子进行初始化和随机定位;
4 仿真实验
4.1 数据集概述
为了保证实验结果的可靠性和准确性，本文在UCI数据库中选取了两组数据集，对特征进行测试。
（1）乳房组织数据集[11]
测量了64名妇女106个乳腺样本的电阻抗特性[12]。测量了所有乳腺标本在7个频率下的电阻抗特性，提取了9个特征。根据样本数量和阻抗特性，将其分为六类，如表所示。
（2）葡萄酒数据集[13]
对同一地区种植的3种不同葡萄品种的13种成分进行了化学分析。这13个分量的个数作为特征向量。葡萄酒品种分为三大类，分别用数字1、2和3表示。其中，第一类样本59个，第二类样本71个，第三类样本48个。
4.2 实验结果
（1）乳房组织数据集
表2显示实验训练测试的样本总数为9个，每个类的样本数为14个，与现有一些方法的识别率进行了比较。
（2）葡萄酒数据集
表3显示了这些数据的不同识别率，结果1nn（Z变换数据）的识别率来源于对葡萄酒识别数据集的描述。
通过以上数据的比较，得出以下分析结果：
1）从表2和表3可以看出，新算法的识别率高于大多数现有算法，但略低于一些已成熟的算法。 2）图2和图4表明，迭代次数的增加与样本数的增加有关，从而导致收敛速度的降低。
3）图3和图5表明，迭代次数的增加与特征值个数有关，从而导致收敛速度的降低。
4）该算法以种群数为控制参数，收敛速度快，且只需要一个控制参数，可以以较低的复杂度获得更好的性能。例如，虽然GA-SVM在乳腺组织数据集中列出的识别方法中识别率最高，但其识别率差异很大。识别率在92.31%～69.23%之间，只有在参数最优的情况下才能实现最佳。
5）实验发现当样本数据具有总体分布特征时，选择多项式核函数来提高识别率。
5 结论
本文提出了一种新的多项式神经网络智能优化学习算法，并进行了实验研究。单形进化算法充分利用了其全局搜索和控制参数的优点， 它平衡了搜索精度和搜索范围，提高了收敛性能的方差和平均指标，体现了算法的稳定性和可靠性。应用于分类，并与其他算法进行了比较。实验结果表明，虽然实验中选取的两个数据库的识别率都不高，但单参数控制和多角色状态保证了算法的鲁棒性。且样本数据具有总体分布特征时，选择多项式核函数来提高识别率。
参考文献：
[1] 张青贵. 人工神经网络导论[M].北京：中国水利水电出版，2004.
[2] Xu Y J，You T，Du C L.An integrated micromechanical model and BP neural network for predicting elastic modulus of 3-D multi-phase and multi-layer braided composite[J].Composite Structures，2015，122：308-315.
[3] Cheng C，Cheng X S，Dai N，et al.Prediction of facial deformation after complete denture prosthesis using BP neural network[J].Computers in Biology and Medicine，2015，66：103-112.
[4] Zhou F，Peng H，Qin Y M，et al.RBF-ARX model-based MPC strategies with application to a water tank system[J].Journal of Process Control，2015，34：97-116.
[5] Qin Y M，Peng H，Zhou F，et al.Nonlinear modeling and control approach to magnetic levitation ball system using functional weight RBF network-based state-dependent ARX model[J].Journal of the Franklin Institute，2015，352（10）：4309-4338.
[6] 张德丰.MATLAB B2016a智能计算25个案例分析[M]. 北京：清华大学出版社，2017.
[7] 李喆，吕卫，闵行，等.机器学习在乳腺肿瘤分类检测中的应用研究[J].计算机工程与科学，2016，38（11）：2303-2309.
[8] 杨晓伟，郝志峰.支持向量机的算法设计与分析[M].北京：科学出版社，2013.
[9] 梁礼明，钟震，陈召阳.支持向量机核函数选择研究与仿真[J].计算机工程与科学，2015，37（6）：1135-1141.
[10] Quan H， Shi X. A Surface-Simplex Swarm Evolution Algorithm[J]. 武漢大学学报（自然科学英文版）， 2017， 22（1）：38-50.
[11]Marques J P， Jossinet J. Breast Tissue [DB/OL]. 2010-05-10. http：//archive.ics.uci.edu/ml/datasets/Breast Tissue.
[12] Jossinet J.Variability of impedivity in normal and pathological breast tissue[J].Medical