基于敏感性的Madaline网络结构裁剪

来源 :河海大学 | 被引量 : 0次 | 上传用户:cry87ac
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在神经网络研究中,网络结构如何设计是一个至关重要的问题。对于给定的问题,为了找到一个适合的网络结构,目前一种常用的方法是把已训练好的大结构网络裁剪成小结构网络,同时要保留网络必需具备的性能。本文给出了基于神经元敏感性的神经网络结构裁剪方法,即从Madaline网络隐层上裁去那些最不重要的神经元Adaline,从而使得裁剪造成的性能损失尽可能少,并设法补偿损失。这个方法的新颖之处在于它建立了一个度量网络中神经元重要性的尺度,通过对网络中每个神经元的重要性进行度量,可以找出网络中重要性最小的神经元,然后尝试将其裁去。本文的Adaline重要性尺度是建立在Adaline敏感性尺度基础之上的。一个Adaline的敏感性是指对于它的所有可能输入,因输入扰动而导致它的输出出错的概率:而一个Adaline的重要性则定义为它的敏感性值乘以它与后一层上所有Adaline的连接权绝对值之和所得的乘积。基于敏感性计算,本文给出了一个Madaline网络结构的裁剪算法,它从一个给定的Madaline网络中反复裁剪隐层中重要性最小的节点并做一些适当的补偿计算操作,直到在给定的性能要求下再没有节点可以被裁掉为止。本文的实验结果很好地验证了这个方法的有效性。此外,本文还讨论了用敏感性来改进Madaline网络训练算法的尝试。
其他文献
热铆接技术作为解决难成形、大直径铆钉铆接难题的一种关键技术已经应用于航空航天领域。但我国现有热铆接设备无法保证飞机的铆接效率和铆接质量,热铆接工艺在生产实践中应用
本文参考2017年6月1日正式施行的《网络安全法》与《网络安全等级保护基本要求(GB/T 22239-2019)》对Web与网络数据库系统中的安全漏洞和应对技术展开了分析与论述,供相关读者参考。
VPN技术是目前有分公司的大型企事业单位之间,不同地域的资源无障碍互访的一个关键的技术所在。在VPN的技术当中,使用BGP/MPLS VPN来实现也是一个主流的方式。本文阐述了BGP/MPLS VPN实现的规划设计,结合H3C智能广域网解决方案的部署方法及性能分析。
摘要:针对广州供电局某站母线失压后220kV备自投未动作进行现场调查分析及总结,提出存在问题,并就存在问题提出整改意见。在经过多方研究及探讨,对备自投装置存在的问题进行整改方案的编制及落实,并最终经现场调试确认后投入运行,为正在使用此备自投装置的其他供电局提供了整改方向及现场调试方法。  关键词:备自投装置;运行方式;充电;放电  作者简介:陈杰明(1979-),男,广东增城人,广东电网公司广州供
时间:2008年4月25日地点:漳州宾馆关键词:奥运中国机遇与挑战2008年是中国的奥运年,也是媒体的发展年、竞争年。奥运年带来了各国运动员赛场上的群雄纷争,也带来了媒体之间相
在Windows域网络学习和实际应用中,经常会存在一些实际问题,常常在课本中没解答,网络上回答琳琅满目,但很多答案驴唇不对马嘴。本文从理论和实际部署两个方面总结了Windows域网络学习中的常见问题,与Windows学习者和爱好共享。
机器重心位于不同位置时的牵引力和功率的计算公式及转向灵活性,得出的结论可供设计计算时参考。 The calculation formula of the traction force and power when the cente
本文主要介绍ACL技术的规则、应用场景及ACL类别,虚拟了一个中型企业网络的模型,根据搭建的网络拓扑,分析了该网络的特点和网络安全业务需求问题。最后,基于华为e NSP模拟器建立ACL相关规则过虑网络流量,实现了该模型的网络设计与安全服务,当网络中的设备进行通信时,能使网络数据传输的安全得到可靠保障,同时也使网络的性能更加稳定。
期刊
随着人们对原花青素相关产品需求日益增长,膜分离纯化原花青素作为新兴的高效分离纯化技术已越来越受到各界人士的广泛关注。超滤过程中由于膜表面污染、浓差极化等现象导致膜