论文部分内容阅读
摘 要： 研究了神经网络的模型和算法。神经网络是由简单处理单元构成的大规模并行分布式处理器，是对人脑的抽象、简化和模拟，反映人脑的基本特性。它是根植于神经科学、数学、统计学、物理学、计算机科学等学科的一种技术。目前，神经网络主要应用于网络的软硬件实现研究、各个领域特定问题的研究等。
关键词： 神经网络； 分布式处理器； 人脑； 神经元模型
中图分类号：TP391.9 文献标志码：A 文章编号：1006-8228（2016）10-08-03
Study on neural network algorithm
Wang Cunyu， Gu Weiming， Wu Chong， Zhou Chen
（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）
Abstract： The model and algorithm of neural network are studied in this paper. Neural network is a massive parallel and distributed processor which is composed of the simple processing units. It is an abstraction， simplification and simulation of the human brain， and reflects the basic characteristics of the human brain. It is a kind of technology rooted in the neural science， mathematics， statistics， physics， and computer science and so on. At present， the neural network is mainly used as a study in network hardware and software implementation and in the specific issues in various fields.
Key words： neural network； distributed processor； human brain； neuron model
0 引言
随着人工智能技术的发展，神经网络与模糊逻辑、专家系统、遗传算法、小波、混沌、粗集、分形、证据理论、灰色系统等技术的融合已经成为智能技术的一个重要发展趋势，有着很好的发展前景[2]。研究神经网络的算法，最终实现与其他算法的结合是非常有意义的。
1 神经网络特点
1.1 一般特点[3]
⑴ 由于神经网络模仿人的大脑，采用自适应算法。使它较之专家系统的固定的推理方式及传统计算机的指令程序方式更能够适应环境的变化。总结规律，完成某种运算、推理、识别及控制任务，使其具有更高的智能水平，更接近人的大脑。
⑵ 较强的容错能力，使神经网络能够和人工视觉系统一样，根据对象的主要特征去识别对象。
⑶ 自学习、自组织功能及归纳能力。
1.2 自组织的特点
自组织特征映射神经网络的固有特点决定了神经网络相对传统方法的优点：
⑴ 自组织特性，减少人为的干预，减少人的建模工作，这一点对于数学模型不清楚的物探数据处理尤为重要，减少不精确的甚至存在错误的模型给结果带来的负面影响。
⑵ 强大的自适应能力大大减少了工作人员的编程工作，使得被解放出来的处理人员有更多的精力去考虑参数的调整对结果的影响，使得更快的改进方法成为可能。
⑶ 网络工作过程中考虑数据和网络拓扑结构的问题，更类似人类大脑思考问题的方式，问题的解决更符合人的特点，使得结果的可信程度加大。
⑷ 无导师学习机制，不需要教师信号。对于地球物理勘探这类的很少有准确的教师信号作为指导的问题而言，这一点很有优势，很好的模仿人脑，所得结果是其他方法处理结果的很好的参考。
2 人类大脑
人的神经系统可看作三阶段系统，如图1（Arbib， 1987）所描绘的框图所示。系统的中央是人脑，由神经网络表示，它持续地接收信息，感知它并做出适当的决定。图中有两组箭头，从左到右的箭头表示携带信息的信号通过系统向前传输，从右到左的箭头表示系统中的反债。感受器把来自人体或外界环境的刺激转换成电冲击，对神经网络（大脑）传送信息。神经网络的效应器会将神经网络产生的电冲击转换为可识别的响应从而作为系统的输出。
3 神经网络
3.1 神经元模型
⑴ 突触或连接链集，每一个都由其权值或者强度作为特征。具体来说，在连到神经元k的突触j上的输人信号被乘以k的突触权值。第一个下标指正在研究的这个神经元，第二个下标指权值所在的突触的输入端。和人脑中的突触不一样，人工神经元的突触权值有一个范围，可以取正值也可以取负值。
⑵ 加法器，用于求输人信号被神经元的相应突触加权的和。这个操作构成一个线性组合器。
⑶ 激活函数，用来限制神经元输出振幅。由于它将输出信号限制到允许范围之内的一定值，故而激活函数也称为压制函数。通常，一个神经元输出的正常幅度范围可写成单位闭区间[0，1]或者另一种区间[-1，+1]。
偏置bk的作用是根据其为正或为负，相应地增加或降低激活函数的网络输人。偏置bk的作用是对输出作仿射变换，如下所示： 特别地，根据偏置bk取正或取负，神经元k的诱导局部域vk和线性组合器输出uk的关系如图3所示。若bk取正，则称神经元处于激活状态或兴奋状态，若bk取负，则称神经元处于抑制状态。这种“阈值加权和”的神经元模型称为M-P模型，也称为神经网络的一个处理单元（PE）。
3.2 激活函数
激活函数的选择是构建神经网络过程中的重要环节。
由于S形函数与双极S形函数都是可导的，因此适合用在BP神经网络中。
3.3 神经网络模型
神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要可以分为下面3类：
⑴ 前馈神经网络
前馈网络也称前向网络。在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构成输入层，直接投射到神经元输出层（计算节点）上，反之则不然。感知机（ perceptron）与BP神经网络就属于前馈网络。
图4中是一个三层的前馈神经网络，其中第一层是输入单元，第二层称为隐含层，第三层称为输出层（输入单元不是神经元，因此图中有两层神经元）。
⑵ 反馈神经网络
反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。
⑶ 递归网络
递归网络和前馈网络的区别在于它至少有一个反馈环。如图6所示，递归网络可以由单层神经元组成，单层网络的每一个神经元的输出都反馈到所有其他神经元的输人中。这个图中描绘的结构没有自反馈环；自反馈环表示神经元的输出反馈到它自己的输人上。图6也没有隐藏层。
4 结束语
神经网络理论已在信号处理、人工智能[5]、模式识别、自动控制、辅助决策等众多研究领域取得了广泛的应用[6]，但其发展还不十分成熟，比如：神经计算的基础理论框架以及生理层面的研究仍需深入。新的模型和结构的研究；神经网络的可理解性问题；神经网络技术与其他技术更好的结合等。
今后的研究应在充分利用神经网络优点的基础上，关注各个领域的新方法、新技术，发现他们之间的结合点，取长补短，并进行有效的融合，从而获得比单一方法更好的效果。除此之外，还应当加强神经网络基础理论方面的研究和在实际应用方面的研究，使其在工程应用中发挥越来越大的作用。
参考文献（References）：
[1] 樊振宇.BP神经网络模型与学习算法[J].软件导刊，2011.10（7）：
66-68
[2] 陈祥光，裴旭东.人工神经网络技术及应用[M].中国电力出版
社，2003.
[3] 郭志安等著.神经计算机：概念、原理、算法、能力[M].四川教
育出版社，2001.
[4] 毛健，赵红东，姚婧婧.人工神经网络的发展及应用[J].电子设
计工程，2011.19（24）：62-65
[5] 虞和济等著.基于神经网络的智能[M].冶金工业出版社，2000.
[6] 王洪元，史国栋.人工神经网络技术及其应用[M].中国石化
出版社，2002.
[7] Li Minyiang. Xu Boyi. Kou Jisong. On the cotnhinalion of
genetic algorithms and neural networks[J]. Systems Engineering-Theory $. Practice，1999.2：65-69
关键词： 神经网络； 分布式处理器； 人脑； 神经元模型
中图分类号：TP391.9 文献标志码：A 文章编号：1006-8228（2016）10-08-03
Study on neural network algorithm
Wang Cunyu， Gu Weiming， Wu Chong， Zhou Chen
（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）
Abstract： The model and algorithm of neural network are studied in this paper. Neural network is a massive parallel and distributed processor which is composed of the simple processing units. It is an abstraction， simplification and simulation of the human brain， and reflects the basic characteristics of the human brain. It is a kind of technology rooted in the neural science， mathematics， statistics， physics， and computer science and so on. At present， the neural network is mainly used as a study in network hardware and software implementation and in the specific issues in various fields.
Key words： neural network； distributed processor； human brain； neuron model
0 引言
随着人工智能技术的发展，神经网络与模糊逻辑、专家系统、遗传算法、小波、混沌、粗集、分形、证据理论、灰色系统等技术的融合已经成为智能技术的一个重要发展趋势，有着很好的发展前景[2]。研究神经网络的算法，最终实现与其他算法的结合是非常有意义的。
1 神经网络特点
1.1 一般特点[3]
⑴ 由于神经网络模仿人的大脑，采用自适应算法。使它较之专家系统的固定的推理方式及传统计算机的指令程序方式更能够适应环境的变化。总结规律，完成某种运算、推理、识别及控制任务，使其具有更高的智能水平，更接近人的大脑。
⑵ 较强的容错能力，使神经网络能够和人工视觉系统一样，根据对象的主要特征去识别对象。
⑶ 自学习、自组织功能及归纳能力。
1.2 自组织的特点
自组织特征映射神经网络的固有特点决定了神经网络相对传统方法的优点：
⑴ 自组织特性，减少人为的干预，减少人的建模工作，这一点对于数学模型不清楚的物探数据处理尤为重要，减少不精确的甚至存在错误的模型给结果带来的负面影响。
⑵ 强大的自适应能力大大减少了工作人员的编程工作，使得被解放出来的处理人员有更多的精力去考虑参数的调整对结果的影响，使得更快的改进方法成为可能。
⑶ 网络工作过程中考虑数据和网络拓扑结构的问题，更类似人类大脑思考问题的方式，问题的解决更符合人的特点，使得结果的可信程度加大。
⑷ 无导师学习机制，不需要教师信号。对于地球物理勘探这类的很少有准确的教师信号作为指导的问题而言，这一点很有优势，很好的模仿人脑，所得结果是其他方法处理结果的很好的参考。
2 人类大脑
人的神经系统可看作三阶段系统，如图1（Arbib， 1987）所描绘的框图所示。系统的中央是人脑，由神经网络表示，它持续地接收信息，感知它并做出适当的决定。图中有两组箭头，从左到右的箭头表示携带信息的信号通过系统向前传输，从右到左的箭头表示系统中的反债。感受器把来自人体或外界环境的刺激转换成电冲击，对神经网络（大脑）传送信息。神经网络的效应器会将神经网络产生的电冲击转换为可识别的响应从而作为系统的输出。
3 神经网络
3.1 神经元模型
⑴ 突触或连接链集，每一个都由其权值或者强度作为特征。具体来说，在连到神经元k的突触j上的输人信号被乘以k的突触权值。第一个下标指正在研究的这个神经元，第二个下标指权值所在的突触的输入端。和人脑中的突触不一样，人工神经元的突触权值有一个范围，可以取正值也可以取负值。
⑵ 加法器，用于求输人信号被神经元的相应突触加权的和。这个操作构成一个线性组合器。
⑶ 激活函数，用来限制神经元输出振幅。由于它将输出信号限制到允许范围之内的一定值，故而激活函数也称为压制函数。通常，一个神经元输出的正常幅度范围可写成单位闭区间[0，1]或者另一种区间[-1，+1]。
偏置bk的作用是根据其为正或为负，相应地增加或降低激活函数的网络输人。偏置bk的作用是对输出作仿射变换，如下所示： 特别地，根据偏置bk取正或取负，神经元k的诱导局部域vk和线性组合器输出uk的关系如图3所示。若bk取正，则称神经元处于激活状态或兴奋状态，若bk取负，则称神经元处于抑制状态。这种“阈值加权和”的神经元模型称为M-P模型，也称为神经网络的一个处理单元（PE）。
3.2 激活函数
激活函数的选择是构建神经网络过程中的重要环节。
由于S形函数与双极S形函数都是可导的，因此适合用在BP神经网络中。
3.3 神经网络模型
神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要可以分为下面3类：
⑴ 前馈神经网络
前馈网络也称前向网络。在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构成输入层，直接投射到神经元输出层（计算节点）上，反之则不然。感知机（ perceptron）与BP神经网络就属于前馈网络。
图4中是一个三层的前馈神经网络，其中第一层是输入单元，第二层称为隐含层，第三层称为输出层（输入单元不是神经元，因此图中有两层神经元）。
⑵ 反馈神经网络
反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。
⑶ 递归网络
递归网络和前馈网络的区别在于它至少有一个反馈环。如图6所示，递归网络可以由单层神经元组成，单层网络的每一个神经元的输出都反馈到所有其他神经元的输人中。这个图中描绘的结构没有自反馈环；自反馈环表示神经元的输出反馈到它自己的输人上。图6也没有隐藏层。
4 结束语
神经网络理论已在信号处理、人工智能[5]、模式识别、自动控制、辅助决策等众多研究领域取得了广泛的应用[6]，但其发展还不十分成熟，比如：神经计算的基础理论框架以及生理层面的研究仍需深入。新的模型和结构的研究；神经网络的可理解性问题；神经网络技术与其他技术更好的结合等。
今后的研究应在充分利用神经网络优点的基础上，关注各个领域的新方法、新技术，发现他们之间的结合点，取长补短，并进行有效的融合，从而获得比单一方法更好的效果。除此之外，还应当加强神经网络基础理论方面的研究和在实际应用方面的研究，使其在工程应用中发挥越来越大的作用。
参考文献（References）：
[1] 樊振宇.BP神经网络模型与学习算法[J].软件导刊，2011.10（7）：
66-68
[2] 陈祥光，裴旭东.人工神经网络技术及应用[M].中国电力出版
社，2003.
[3] 郭志安等著.神经计算机：概念、原理、算法、能力[M].四川教
育出版社，2001.
[4] 毛健，赵红东，姚婧婧.人工神经网络的发展及应用[J].电子设
计工程，2011.19（24）：62-65
[5] 虞和济等著.基于神经网络的智能[M].冶金工业出版社，2000.
[6] 王洪元，史国栋.人工神经网络技术及其应用[M].中国石化
出版社，2002.
[7] Li Minyiang. Xu Boyi. Kou Jisong. On the cotnhinalion of
genetic algorithms and neural networks[J]. Systems Engineering-Theory $. Practice，1999.2：65-69