论文部分内容阅读
在这个世界上,每时每刻都有无数的事件被人类观测并记录着。时间序列数据作为一种按照观测时间顺序排列的观测值集合,广泛的存在于现实生活的各行各业。时间序列数据分析与研究不仅仅存在于气象学、生命科学、经济学以及农学等诸多主流学科中,自然语言处理、交通管理大数据、人体姿态检测与识别等新兴领域也依靠对时间序列数据的研究,对时间序列数据的特征值分析与提取已经成为了研究的热点与难点问题之一。因此,研究如何在尽可能少丢失信息的前提下,从具有时间相关性强、数据量大、数据维度高等特点的时间序列数据中提取有效的特征,从而获取蕴含在数据中的知识与信息具有十分重要的意义。近年来,深度学习技术在实际应用中表现优异,其中关于特征提取算法的研究取得明显进展。长短时记忆网络(Long Short Term Memory,LSTM)作为深度学习中循环神经网络的一种变体,对时间序列具有长时间的记忆能力。然而,传统的LSTM网络结构中提取的特征是以标量的形式在各个时刻中传递,在提取特征的过程中会一定程度的丢失特征之间的语义与时序关系。针对这一问题,本文将胶囊网络与LSTM网络相结合,提出了一种胶囊式LSTM网络结构提取特征,网络以矢量的形式传递特征信息,从而保留了特征之间的语义与时序关系,并将其应用在人体姿态检测系统中,提升了人体姿态检测任务的正确率。本文的主要工作与成果如下:(1)结合胶囊网络与LSTM网络,提出了一种胶囊式LSTM网络模型结构用于时间序列数据的特征提取。通过构建多个LSTM块获得多个标量特征,使用特征路由的方式将标量特征转换为矢量特征,在使用传统的时间反向传播算法训练的同时,加入动态路由的方法更新提取的特征,从而使模型从输入时间序列数据中提取到更为本质的特征信息。同时论文基于从数据中提取到的特征应该能还原数据本身的思想,本文在胶囊式LSTM网络模型中加入了重构网络,通过降低重构网络依据特征重构的数据与输入数据之间误差进一步提高胶囊式LSTM网络模型的特征提取能力。(2)通过PTB公开数据集的语言建模实验,验证了胶囊式LSTM网络模型的性能。通过对文本序列进行预测的性能来衡量胶囊式LSTM网络模型的特征提取能力,并通过与经典的深度学习算法对照,体现了胶囊式LSTM网络模型在时间序列数据预测问题上所具有的优势。(3)通过人体姿态检测验证实验,验证了基于胶囊式LSTM的特征提取算法在多变量时间序列数据中的性能。通过自建人体姿态数据集,探究胶囊式LSTM网络模型的特征提取能力,并通过对比目前主流的机器学习算法,验证胶囊式LSTM在时间序列的分类问题上所具有的优势。