基于深度强化学习的时间序列早期分类方法

来源 :东南大学 | 被引量 : 0次 | 上传用户:zhe073
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时间序列早期分类问题是当前数据分析领域热门研究方向之一,通过分析部分可观测的时间序列信息,在保证分类准确率的同时,尽早的给出序列的类别标签,实现时间序列的早期分类。时间序列早期分类问题在现实中应用广泛,譬如,在公共交通领域,根据交通流量进行早期预警能够有效应对突发大客流事件,减小客运双方的损失;在医疗领域,根据患者心电图观测数据进行早期分类能够辅助医生尽早采取治疗措施,减小对患者的生命威胁。传统基于监督学习的时间序列分类模型,譬如深度学习,能够高效的学习时间序列特征,从而能够准确的对时间序列进行分类。然而,由于时间序列的部分可观测特征,监督学习无法决策何时做出分类判别,进而无法实现时间序列的早期分类。本文利用强化学习的智能决策优势,将其与深度学习模型结合起来,形成并提出一种新颖的结合准确分类和智能决策的时间序列早期分类方法。本文通过使用深度学习网络作为时间序列特征提取器,拟合强化学习Q-learning的Q值函数的方法,形成深度学习模块和强化学习模块循环交互做分类决策的过程。其中强化学习模块向深度学习模块输出环境中的观测状态,深度学习模块返回动作和动作Q值辅助智能体做决策,组成本文的多变量数据早期分类模型。针对深度强化学习应用于时间变量早期分类问题时出现的样本类别不均衡导致模型无法收敛的问题,提出新的结合序列类别比例和动作比例的经验回放策略、经验存放方法和新的奖励函数设置方法。最后,本文在三个典型数据集上验证提出的算法在分类准确度和早期性两个指标的性能,并实现了一个简单的早期分类系统。实验结果表明,通过设置新的奖励函数和优化经验回放样本不均,1)深度强化学习模型能够成功收敛,2)与Q-learning结合后,相较于深度学习时间序列早期分类,新模型能够自主决策何时做出分类动作,3)相较于全长时间序列分类,时间效率上有大幅提升。同时,与三个主流早期分类模型相比较,本文提出的方法在早期性上也有一定的提高,可以为传统的需要智能决策的分类模型的应用提供借鉴。
其他文献
近年来,随着数字图像处理技术和计算机科学技术的发展,人们对于宽视场视频的需求愈发强烈。然而,用来扩大视频视场的传统改进方案效果不佳,于是,视频拼接技术应运而生。本文就视频拼接技术以及实时视频全景拼接系统的设计与实现做了细致的探究。在视频配准中,为了提高特征提取速度和解决由图像累积配准误差导致的重影、间隙等问题,本文提出了一种基于图像重叠区域和SURF算法的图像特征提取方法,结合最近邻算法和RANS
交往是人类的一项基本技能,是个人融入社会的一个重要手段,也是社会化发展的必然过程。在生命个体的成长过程中,同伴交往对其人格发展、行为规范起着不可忽视的作用。个体不仅会在学校学习和生活中受到同伴交往的影响,而且在未来的社会适应方面是否存在困难也会受到同伴交往的影响。初中阶段的同伴交往渐渐成为这个年龄段个体人际交往的主体。聋校初中学生的同伴交往虽然与健听学生有共同性,但由于听力障碍导致其成长、发展特点
小学英语是一门以培养学生语言学习兴趣为宗旨的课程,小学低段英语学习在义务教育阶段起着至关重要的作用。词汇教学是小学英语低段教学中最重要、也最基础的部分。但是长期以来,英语词汇教学的形式都较为单一。所以探索新型的英语词汇学习模式是广大师生共同的需求。因此,在信息化教学的浪潮下,微课,以其短小精悍、知识性强、表现形式丰富等特点越来越受到教育工作者的欢迎和重视。所谓微课,就是以电子设备为载体,运用一定的
无水碳酸镁作为重要的无机化工产品,在保温材料、耐火材料、橡胶、阻燃剂、化妆品及医药中间体等方面具有广泛应用。目前,制备无水碳酸镁主要有水热法、高温高压法、微波法等方法。但是,这些制备方法的工艺条件不仅对设备要求较高,而且会对环境造成一定程度的污染。本论文针对上述工艺中存在的缺点,首先对现有制备工艺进行了改进,其次探究出了一条低能耗、不污染环境的碳化工艺路线来制备无水碳酸镁。通过对原有尿素水热工艺的
青霉素目前仍为最主要的抗生素类药物之一,其对革兰阴性菌和阳性菌均有抑制作用,对大肠杆菌、流感杆菌、沙门菌和一些变形杆菌的抗菌作用较强。但青霉素的过敏反应发生率居各类药物之首,甚至会出现过敏性休克甚至导致死亡等严重情况。多年来的研究已证明由青霉素类药物所致的速发型过敏反应并非药物本身所致,而是其中存在的高分子聚合物。高分子聚合物的存在是青霉素类药物产生过敏的主要原因。本课题是关于如何降低青霉素钾工业
目的:灵敏素质属于一种综合类身体素质,力量素质、速度素质、柔韧素质、耐力素质、平衡素质、反应能力和协调性都与灵敏素质息息相关。然而要想要发展儿童的身体素质,进行灵敏素质训练是最有效的方法之一。足球属于技能主导类对抗性项目,其对每个运动员的综合身体素质有着较高的要求。灵敏素质训练需要的就是对身体全面的练习,特别是人体对其神经系统的控制;而足球训练中灵敏素质的练习正是初学阶段的重点。因此本研究通过对无
面对2020年东京奥运会,中国乒乓球队面临着巨大压力下的金牌卫冕任务,而连续三届获得奥运团体赛冠军所体现“中国特色”的直板打法,目前也出现了后备人才不足的局面,因此对后备梯队中直板运动员打法特征的研究显得十分必要。本文运用文献资料法、录像观察法、三段统计法、逻辑分析法等方法,对薛飞在2018-2019年的国内外28场比赛的录像进行统计,通过对薛飞在比赛中三段统计以及单板技术和发球轮、接发球轮的战术
词汇是语言学习的基础,要学好一门语言,必须积累大量的词汇。对于小学低段学生而言,英语教学应以激发学生兴趣为主。那么,在小学一年级英语词汇教学中,教师应该怎样激发和保持学生的学习兴趣?怎样帮助学生运用英语进行简单的日常交际?基于对英语教学的理解和实践,本文研究主张:在小学英语词汇教学中教师应该关注学生身心特点,通过引入真实情境、创设新奇语境、提供虚拟情境等方法使学生在具体语境中了解单词的意义和用法,
在保护个人重要文件信息的场景中,加密算法一直是主流的重要方式。声纹识别具有易用性高、准确率高且成本低廉的优势,作为一种常用的生物特征识别方式,有较高的用户接受度,在信息安全领域有着特定的应用。本课题将声纹识别与文件的加密解密算法进行结合,研究一种基于声纹识别的文件加密方法,基于该方法设计实现了文件加密解密系统,并针对实际应用,在实验中进行了优化改进。本课题的主要工作包括三个部分:1.基于深度声纹特
陈梦、王曼昱是当今中国女乒队伍中的领军人物,为了提高我国女子乒乓球队的梯队建设,提高运动员的技战术水平,本文运用文献资料法、录像观察法、数据统计法和比较分析法对中国女子乒乓球运动员陈梦、王曼昱从2017年---2019年的30场国际赛事中单板技术、线路进行对比分析,探究两者之间存在的差异,并为今后的训练比赛提供一定的理论支持。研究结论如下:在发抢阶段,王曼昱的发球落点集中在短球和半出台球,根据不同