基于注意力机制的非线性时间序列预测模型

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:laowang2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时间序列是指将事物按照其发生的时间顺序进行排列的数列。它通常是以某一固定采样率对一段时间内的潜在过程进行观测的结果。时间序列数据本质上可以反映出一个或一组随机变量的变化运动趋势。通过对时间序列反s映出的趋势的挖掘、分析和研究我们就可以把握对应事物的发展规律,可以对事物有更深入的了解,也可以更好的预测事物未来的发展进而做到因势利导,趋利避害。时间序列预测的应用范围十分广阔,在传染病防治、交通运输、经济、金融等领域都有广泛的应用。常用的时间序列预测方法有传统统计学方法,机器学习方法和深度学习方法三类。三种方法各有其适用的应用场景,也各有其性能瓶颈。对于以金融时间序列为代表的一些高维度、高噪声、非平稳时间序列,在计算速度和特征提取能力上深度学习方法更占优势,而且使用深度学习模型进行金融时间序列预测对研究人员的金融学知识储备要求较低,不需要进行复杂的特征工程。但是深度学习模型随着模型层数的加深,对时间序列整体结构与内部规律从宏观层面的提取能力加强的同时在局部特征规律层面的提取能力会变弱。往往深度学习模型不能兼顾整体与局部特征的提取。因此本文针对高特征维度高噪声的时间序列的降维降噪问题和深度学习模型无法兼顾整体与局部特征的问题提出了一种时空整合的数据处理方法,以及一种基于注意力机制的预训练长短期记忆门模型用以实现对高特征维度高噪声数据的降维和降噪,加强模型对整体局部特征提取的兼顾能力,提高时间序列预测模型的预测精度。本文的主要工作可以概述为:1、设计了一种时空整合的数据处理方式,分别在时间维度和空间维度整合时间序列数据的特征。时间维度上根据年、季、月、周的时间阶段整合时间序列特征的变化趋势,并保持趋势之间的连接性和连续性。在空间维度用总体趋势校准不同局部趋势的分布方差差异,实现对时间序列特征的有效降维和降噪。本文实验数据集选用高特征维度高噪声的金融数据,收集了2016到2022年的180个股票指数数据,其中大盘指数12个,一级行业指数34个,二级行业指数134个。通过对金融数据集进行对比实验,发现该数据处理方式可以将预测精度提高25%左右,使用该数据处理方式的三组实验最终预测准确率都在80%以上。2、设计了一个基于注意力机制和预训练机制的长短期记忆门神经网络,以预训练的方式保证对局部趋势特征提取和整合的可信度,提高了模型对整体和局部特征的兼顾能力。同时通过注意力机制提高模型对于各个局部特征之间相关性的挖掘与分析。通过对金融数据集进行消融实验,发现预训练机制可以将预测精度提高近2个百分点,注意力机制可以将精度提高近3个百分点。
其他文献
随着移动互联网的发展和智能手机的普及,手机中包含的用户隐私数据随之增加,如何确保用户隐私安全成为学术界和商业界的研究热点。传统认证方式如口令、面部识别和图形解锁等,仅在手机初始登录时进行一次性认证,而无法在用户访问期间持续认证,给予了非法用户可乘之机。基于用户行为的持续认证提供了解决方案,它能够以用户无感知的方式采集其行为数据,不间断地判定用户身份合法性,从而确保智能手机被访问期间的隐私安全。近年
学位
随着物联网的发展与智能终端的普及,智能手机、智能手表、智能手环等内置了各式各样传感器的智能设备在我们的生活中不断涌现。在监测设备运动状态的同时,这类传感器还能反映出用户的交互、设备所处的环境等。基于这些传感器,开发者为人们带来了诸多类似运动检测与计量、游戏控制、抬腕亮屏、跌倒检测等实用功能。由于这类传感器往往具有精度高、耗能低、体积小等特点,它们不断被集成在各种可穿戴设备中。然而,得益于机器学习算
学位
随着物联网技术的发展,智能设备被广泛应用于医疗、交通、农业等各个领域。每个智能设备采集和维护一个数据集,用于数据分析和安全计算。然而,这些数据涉及用户大量的隐私信息,对数据进行隐私保护是现实需要,也是法律要求。隐私保护集合交集是解决数据隐私保护问题的思路之一,它使得持有数据的参与方通过计算得到集合的交集数据,且不泄露任何交集以外的数据信息。目前,多方隐私保护集合交集协议可以在保护数据隐私的基础上,
学位
随着物联网产业的扩大与智能设备的普及,数以亿计的基于Linux系统的嵌入式设备逐渐融入到人们的生活当中。然而数量巨大、类型多、计算能力薄弱的嵌入式设备非常容易出现各种安全漏洞,这些安全漏洞一旦被攻击者恶意利用会造成严重损失。与传统个人电脑相比,基于Linux系统的嵌入式设备具有硬件资源受限、运行环境复杂、处理器架构种类多、进程间通信频繁等特点,导致传统的漏洞挖掘工具无法直接应用于基于Linux系统
学位
榆林作为陕北地区国家能源基地的重要组成部分,在过去30余年为中国经济社会发展作出了重要贡献。然而,煤炭资源开发不可避免地给当地生态环境带来了采空区塌陷、土地与水资源破坏、生态退化等诸多问题,且目前因煤炭规模开发的负面效应持续加剧着矿区水资源、土地资源的破坏以及生态系统韧性的下降,已然威胁到榆林经济社会的可持续发展及国家能源资源的长远安全。多年来,榆林煤矿区在地质环境治理方面形成了一批可复制、可推广
期刊
黄土高原水土流失综合治理已取得明显成效,但仍有超过23万km~2水土流失面积未得到有效治理,水土流失、生态脆弱、民生发展滞后问题依然突出。淤地坝作为黄土高原水土流失综合治理的关键措施之一,存在溃决风险高、管护压力大、拦沙不充分三大痛点,导致其作用不能充分发挥。针对这些问题,提出了基于高标准免管护新型淤地坝的黄土高原“小流域+”综合治理新模式,其以高标准免管护淤地坝为统领,构建沟底、沟坡、沟缘、坡(
期刊
账本的结算与审计对于政府、金融监管部门和企业单位都是一项极其重要的工作,其结果也可以从侧面说明参与者实体在资产交易中是否遵守规定。传统的人工审计已经不符合现在高速发展的金融市场,取而代之的则是区块链技术,它的快速发展给各行各业带来了巨大的市场前景,尤其是在金融领域。许多的金融机构认识到区块链技术的优势后,利用此技术可以有效地进行跨地域、组织以及时空的交易行为,并且已经使用区块链来记录资产交易的信息
学位
随着信息技术的发展,网络空间作为所有信息系统的集合,其安全性问题变得越来越突出。移动应用安全是网络空间安全中的重要组成部分,每年有大量的恶意应用会出现,其具有携带广告、恶意收取费用、泄露隐私等一系列重大问题。鉴于此,针对于恶意应用如何实现有效可信的检测就变得尤为重要。现有的恶意应用检测方法大都部署在云端,但云部署会造成隐私安全的问题。在特征收集阶段,用户的一些信息会被上传到云端,存在泄漏的风险,而
学位
缓冲区溢出漏洞是目前计算机领域最严重漏洞之一,但过往针对缓冲区溢出漏洞的防护研究在实际应用于嵌入式设备场景时,往往体现出不同程度的局限性。例如缓冲区溢出防护工具ASAN,该工具能够对各类型缓冲区实施加固保护,但是其使用了穷举型的逻辑校验方式,虽然能够保证缓冲区溢出检测的完备性,但是也造成了不可忽视的性能开销。还有目前应用颇为广泛的Stack Guard工具,其通过在返回地址之前校验栈帧中的cana
学位
区块链是当今密码学应用研究的重要领域,作为许可区块链的代表,Hyperledger Fabric如今已在金融领域有着许多成功的商业应用。然而,性能问题始终是限制Hyperledger Fabric进一步扩大应用场景的枷锁。尤其是在由大规模Peer节点构成的复杂网络环境下的并发交易场景,大量由客户端发起的交易提案因交易模拟结果不一致或多版本并发控制验证失败等原因被Hyperledger Fabric
学位