回声状态网络的神经元模型和拓扑结构优化研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:ctrl111shift
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着人工智能技术的快速发展,回声状态网络(Echo state network,ESN)在非线性时间序列处理和动态预测系统方面表现出了一定的优势,受到了国内外研究学者的广泛关注。作为一种改进的递归神经网络(Recurrent neural network,RNN),回声状态网络采用大规模稀疏连接的结构(动态储备池)作为隐含层,且只对输出连接权值进行调整,使整个训练阶段变得简单高效,克服了经典递归神经网络学习规则实现难度大,运行时间长等缺点,逐渐成为非线性时间序列预测任务的重要处理方法。其中,隐含层作为信息处理的重要环节,对ESN模型的计算能力起着关键性作用。然而,传统的ESN采用随机生成的储备池拓扑结构,其计算能力有限,难以满足一些高复杂度预测任务对于预测精度的要求。此外,在构建新的储备池计算模型时,要尽量平衡预测精度和计算复杂度两个指标。针对这两个问题,本文从储备池优化入手,包括拓扑结构和神经元模型两个方面,开展基于ESN非线性时间序列预测精度提升的相关工作。一方面,基于复杂网络理论,本文构建了无标度高聚类网络,验证了其小世界和无标度特性。然后将该结构引入ESN储备池计算,成功建立了无标度高聚类ESN计算模型。最后,采用非线性自回归滑动平均模型和金融序列预测任务检验了所提出模型的优势。实验结果表明:相较于传统的随机网络,多簇无标度结构因其具备小世界和无尺度特性有更好的计算能力。另一方面,基于环状结构和漏积分神经元(leaky integrator neuron),构建了低复杂度ESNs。为了和传统ESN进行性能比较,分别构建了随机ESN,环状ESN,随机漏积分ESN,环状漏积分ESN,混合环状漏积分ESN五种不同的ESN计算模型。采用MGS(Mackey-Glass)混沌时间序列预测任务,分别从预测性能、抗噪声能力和非线性逼近性能三个方面对网络性能进行评估。实验结果表明:简单的环状结构和随机结构性能相当;漏积分单元比传统的Sigmoid神经元具备更好的记忆性能;环状结构和漏积分神经元的结合显著地提高了ESN在MGS序列预测上的性能。
其他文献
<正>南安板鸭起源于江西省大余县南安镇方屋塘村。因清朝时大余县为南安府所在地,且板鸭在木板上定型呈板状,故称南安板鸭。南安板鸭的加工季节是每年9月中旬-次年1月中旬。9
基于结构重叠网格技术,采用有限体积方法求解带有k-ε湍流模型的Navier-Stokes方程组,对不同挂位(弦向、展向及垂向)外挂物绕流流场进行数值模拟,通过对结果分析发现:不同挂位的
在媒介市场由限制市场驱动向完全市场驱动转变的过程中,商业化媒体呈现出消费主义倾向,市场理念侵蚀新闻理念,新闻消费主义与新闻专业主义形成对峙、抗争、纠缠,此消彼长的关
目的:1.肝豆状核变性(hepatolenticular degeneration,HLD),又被称之为Wilson病(Wilson’s disease,WD),通过观察WD患者,根据其WD评分量表(Unified Wilson’s Disease Rating Scal
对中国行政体制当前的现状而言,建立"有限政府"是较为务实的起步方向。建立有限政府可以作为目前乃至今后一个时期内我国行政体制改革的主要目标,同时也为远期的行政体制改革
<正>凭祥市红木产业发展已有将近20年历史。目前,凭祥市投入资金20多亿元在南山工业园建成凭祥市南山红木文化城,占地2.5平方公里,商铺1200多间,红木产品经销商350多家,红木
作为在学校学习的一类特殊人才,音乐特长生的培养也需要一定的技巧和专业化的培养系统。笔者对高中音乐特长生辅导训练工作探讨,以期为国家培养出更优秀的音乐人才。
近些年,在高中政治一线教学过程中,导学案正在受到师生的青睐,并且在教学实践中不断得到发展和完善。高中政治作为普及政治常识,提高学生综合素质的课程,对学生的全面发展有
油菜是我国最重要的油料作物,具有需肥量大、耐肥性强的特点,其产量、效益的提高与施肥关系较为密切,并且对氮、磷、钾、硫和镁等多种营养元素需求量较大,而对硼却比较敏感。
应急救援车辆需要具有良好的可操纵性、灵活机动性以及稳定性。采用多轴转向技术可以使车辆在低速行驶时减小转弯半径,高速行驶时减少侧滑和扭摆程度,提高车辆在低速行驶时的灵活机动性和高速行驶时的操纵稳定性,因此研究应急救援车辆多轴转向系统技术具有重要的理论意义与实际应用价值。本文结合国家重点研发计划项目“高机动多功能应急救援车辆关键技术研究与应用示范”(项目编号:2016YFC0802900),设计三轴应