新型深度储备池计算方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:BluePenguin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
储备池计算(Reservoir Computing)模型结构简单、训练高效,是一种训练循环神经网络的新型计算方法。目前已经在动态系统识别、时间序列预测等领域中得到了广泛的应用。然而,相比于深层次的深度学习模型,储备池计算模型层次结构单一化(只有随机固定的单个隐含层),唯一需要训练的网络输出权值也仅仅依赖于简单的回归工具。因此储备池计算目前还尚未能应用于更广泛的时间序列应用领域,例如动作识别。本文拟基于典型的储备池计算模型——回声状态网络(Echo State Network,ESN),探索储备池计算与深度学习在模型思想、技术等方面结合的可能性,提出两种新型的深度储备池计算模型。具体地,本文研究工作主要包括在以下两个方面:1)提出一种新型的层次化储备池计算模型——深度储备池网络(Deep Reservoir Network,DRN)。该模型通过多重投影与编码的交替方式叠加储备池和无监督编码器。各层的储备池与最后的输出层之间均有需要学习的输出连边,并且这些输出连边的权值可以通过简单的回归方程求解。该模型在保证传统储备池计算简单、高效的学习特点(不依赖于时间方向上的梯度反向传播过程)的同时,也通过在各层储备池之间加入的无监督编码器融合了深度学习多层次特征学习和抽象的模型思想。实验结果证明,这种基于多重投影编码的深度储备池网络比起目前已有的层次化储备池工作更能保证在实现高效率时序建模任务的同时,在整个层次系统内部产生丰富多尺度动态特征。2)提出一种基于储备池编码与卷积解码相结合的新型深度储备池计算模型——卷积回声状态网络(Convolutional Echo State Network,ConvESN)。该模型可适用于一般的时间序列分类问题。该模型的研究动机在于利用深度学习方法来解码储备池生成的丰富的高维动态特征,突破原来基于简单线性回归的储备池计算模型对复杂动态特征解码能力弱的建模瓶颈。进一步,本文针对带有结构化信息的时间序列数据(例如基于人体骨骼节点的动作序列数据),提出了两种基于多步通道融合策略的卷积回声状态网络扩展模型(ConvESN-MSSC和ConvESN-MSMC),将ConvESN这种深度储备池计算模型进一步拓展至更为复杂的时间序列识别应用中。通过基于UCR时间序列数据库的标准分类任务以及基于人体骨骼节点序列数据的动作识别任务,证明了这种卷积回声状态网络方法的有效性。
其他文献
本文对影响UHT塑袋牛奶质量的原料乳、包装膜、检验、设备和操作等进行了阐述,归纳了UHT奶常见质量问题及解决措施,提供了企业控制UHT奶质量的相关经验,可供乳品企业参考.
2004年6月18日,WTO争端解决机构裁定美国棉花补贴违反了WTO规则.起诉方巴西对美国棉花补贴违背WTO规则的大部分主张被判成立.目前,美国已经上诉,上诉的结果将在3个月之内揭晓
本文首先介绍了超高温杀菌技术(UHT)设备的分类,然后详细分析了三种流行的国外UHT设备,以便有利于国产化.
随着大数据时代的到来,数据量急剧增加,运用神经网络进行大规模数据处理时所需要的深度学习模型将会越来越复杂。传统计算机所应用的冯·诺依曼架构将无法满足日益增加的计算
基于来自珠三角地区四个产业集群内257家企业的问卷调查数据,综合运用线性回归分析和结构方程建模等方法,探讨了创业导向、双重网络嵌入与集群企业升级之间的关系。研究结果表
在脱脂牛乳的膜过滤过程中(超滤或微滤),酪蛋白胶束粘聚在膜表面,直至在一定条件下出现溶解不可逆的“沉积物”即凝胶的现象,从而在一定程度上堵塞过滤膜,影响过滤效率。因此推断酪
上海轮渡—车辆渡,俗称汽车摆渡,曾是沟通黄浦江汽车过江的主要水上交通工具,车辆渡航线的开辟迄撤销,见证了浦江两岸桥隧立体交通的发展。
本刊讯 日前,广东省人民政府办公厅转发了广东省教育厅等部门制定的《广东省特殊教育提升计划(2014--2016年)》(下文简称《计划》)。《计划》指出,从2015年春学期起,在广东省范围内
储备池计算是一种适合处理时序信号的简单高效的机器学习算法。相比在传统电子计算机上用软件实现的方式,储备池计算在光器件上的实现方式将更有利于超高速和超低功耗的信息