基于梯度下降的脉冲神经网络在线监督学习研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:eagleqizha
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大脑如何以可靠、有效的方式来实现学习功能,这是神经科学的一个根本问题。目前普遍认为,大脑的学习是通过突触可塑性机制来实现的,这种机制通过突触前和突触后神经元的电位变化改变突触的效能。脉冲神经网络是一类更接近生物神经系统的计算模型,通过神经元发放精确定时的脉冲来传递神经信息,具有处理时空数据的能力。它克服了人工神经网络对计算能力的限制,为开发具有记忆能力和快速适应能力的模型开辟了新的道路。根据神经科学研究成果,大脑中的神经元可以对单个脉冲做出迅速反应,神经元之间突触连接的强度在发放脉冲时立刻会发生加强或减弱的变化,即生物神经系统中在多数情况下利用的是在线方式来改变突触权值。为了更加贴近真实神经元以及处理不断产生的大量数据,采用更具生物可解释性的在线学习方法受到研究者更多的关注。首先,本文分析比较了脉冲神经网络的不同学习规则,简单阐述了其主要思想及训练特点,并介绍了梯度下降方法在人工神经网络中的应用,以及推广至脉冲神经网络的不同监督学习算法。然后,结合梯度下降方法和在线学习方式的特点,提出了一种基于梯度下降的脉冲神经网络在线监督学习算法,其适用于脉冲神经网络的多脉冲训练模式。通过最小化期望和实际输出脉冲之间的误差函数来实现网络模型的在线训练以及突触权值的实时调整,以脉冲为处理对象实现在线监督学习。脉冲神经网络的在线学习过程不同于离线方式,样本在网络中训练,一旦输出层神经元有脉冲激发,便会引发网络参数的实时调整,即一个样本在网络的训练过程中,网络的连接权值会根据输出层神经元的脉冲发放进行多次调整。最后,将所提出的脉冲神经网络在线监督学习算法应用于脉冲序列的学习任务,在不同的神经网络学习参数下,对在线方式和离线方式进行了对比实验。结果表明,在线方式无论在学习周期还是学习精度上都优于离线方式。进一步将脉冲神经网络的在线监督学习算法应用于非线性模式分类问题,采用样本数据仅需一次迭代的One-Pass方式进行学习。在Iris数据集和Wisconsin乳腺癌数据集上的实验结果表明,脉冲神经网络的在线监督学习算法在一次迭代学习过程中,表现出较高的训练集和测试集的分类准确率,提高了模式分类问题的学习效率。
其他文献
亚太再平衡时期,军事及安全领域的长期合作正在逐步主导美国的东南亚军事任务设计。在对未来和平趋势的预期基础上,亚太再平衡阶段的美军任务日益重视防务合作、援助以及救灾等
基于GPS浮动车技术的道路交通状态监测是掌握道路交通状态的重要途径,地图匹配是决定浮动车道路交通状态监测系统质量的关键技术之一。目前,对于规模大、精度不足的浮动车GPS
近年来,随着国民经济的建设不断创新与发展,很大程度上也改变了人们的传统生活方式,对其高质量生活的要求也越来越高。从其侧面也不同程度的反映出对其需求不断扩大。如用电
本地化已经成为跨国公司进行产品国际化营销的重要战略。本地化服务是一个多学科交叉的新兴领域。欧美高校将本地化教学与翻译专业教学相结合,建立了多层次、多元化的本地化
采用单向免疫扩散法测定了不同泌乳期的阿拉善双峰驼乳及其出生幼驼血清中IgG的动态含量,以探讨阿拉善双峰驼初乳中IgG向幼驼转移的模式和幼驼由母体获得被动免疫力的影响因
通过分析在高校食品专业英语课程教学中引入PBL教学模式的必要性,探讨该课程PBL教学模式的基本思路,并提出PBL教学法在食品专业英语课程中应用的优点及实施过程中应注意的问
5月20日,中国首部《经济适用住房管理办法》正式实施,该办法针对北京、大连等部分城市近年在经济适用房开发建设与销售上存在的种种问题做出规范。新规出台对低收入者意义有
地乐胺、除草通在萝卜田的应用效果谢兰光(安徽省界首市农科所,界首236500)萝卜是我市二大主栽蔬菜之一,近年来种植面积均在2万亩左右。萝卜菜地杂草繁多,其除草用工要占整个菜地管理过程
<正> 葛洲坝水利枢纽的主要任务是作为三峡水电站的反调节水库。在三峡工程建成前主要是利用葛洲坝枢纽形成的集中落差发电,改善三峡河段约200km的航运条件,并为三峡工程建设
译介学是一门新兴学科,其重要命题,"文化转向"和"创造性叛逆"大大推动了翻译研究,并使得译者更加关注文化差异。本文从译介学的角度,借助《红楼梦》两个英译本中的具体例子,