【摘 要】
:
时间序列数据在生活中随处可见,天气预报中的每日温度、每天超市张贴的猪肉价格、国家统计局每月公布的消费者物价指数等。人们对时间序列的研究由来已久,最早的时间序列分析甚至可以追溯到7000年前的古埃及,他们对尼罗河的涨落情况逐天记录下来,以此来预测洪水泛滥,指导农业生产。人们期望通过分析时间序列数据,可以找到其中的规律,从而能够对未来的情形有较好的预测,指导现在的行为。另一方面,从围棋到电子竞技游戏、
论文部分内容阅读
时间序列数据在生活中随处可见,天气预报中的每日温度、每天超市张贴的猪肉价格、国家统计局每月公布的消费者物价指数等。人们对时间序列的研究由来已久,最早的时间序列分析甚至可以追溯到7000年前的古埃及,他们对尼罗河的涨落情况逐天记录下来,以此来预测洪水泛滥,指导农业生产。人们期望通过分析时间序列数据,可以找到其中的规律,从而能够对未来的情形有较好的预测,指导现在的行为。另一方面,从围棋到电子竞技游戏、从机器人控制到自动驾驶,强化学习已经从纸上谈兵的构想变成了触手可及的现实。作为有望实现通用人工智能的技术,强化学习承载了研究人员对未来的美好愿望,即让计算机拥有真正的学习能力,在与环境的交互中不断提升自我,并有望发挥出无限的潜能。时间序列分析的现实目的是指导人们的行为,而强化学习模型的输出也是当下应当做出的行为,如果将时间序列数据作为强化学习模型的输入,输出依旧是当下要做的动作,这样就构建出了一个端到端的时间序列决策系统。这样的系统可应用于异常检测、疾病诊断、网络安全、金融交易等很多领域,研究前景广阔,潜力巨大。而在时间序列强化学习模型的研究中仍有很多问题需要解决,例如时间序列的数据表征、时间序列的数据增强,除此之外,有些任务由于环境或是数据集的限制还需要用到带约束的强化学习、模仿专家强化学习。本文研究了时间序列强化学习模型三个方面的问题,具体内容如下:第一是时间序列的数据表征。本文提出了将有监督的学习与强化学习相结合,通过共享网络参数来实现时间序列数据表征的方法。深度学习中有很多处理时间序列数据的网络结构,而深度学习的任务往往是有监督的学习,即训练数据集中有作为“正确答案”的标注,深度学习模型需要从输入中提取出有用的特征,然后根据这些特征得到模型的输出,学习的目标是使得输出与标注越接近越好,在这个过程中模型提取特征的能力也会越来越强。将强化学习与有监督的学习相结合,让它们共用一部分网络结构,这样强化学习模型就可以借助深度学习模型的数据表征能力获得更好学习效果。第二是时间序列的数据增强。本文提出了基于分形理论的数据增强方法,以及一种度量数据增强前后数据集相似性的方法。强化学习算法需要大量的训练数据才有可能得到令人满意的模型,如果现实中的数据量有限或者获取数据的成本太高,就需要用到数据增强来增加数据量。本文提出的度量数据集相似性的方法基于均值、方差和JS散度。如果两个数据集在此度量方法下达到相似的阈值,就可以应用基于分形理论的数据增强方法,用细粒度的时间序列数据集扩充粗粒度的时间序列数据集,达到数据增强的效果。第三是专家策略强化学习模型。本文提出了一种基于带约束强化学习的期权交易框架。人们心目中理想的强化学习模型可以从随机参数开始训练,只通过观察到的状态、采取的行动、环境反馈的奖励就可以学出令人满意的模型。然而现实环境中可能有些状态不应该去探索,例如自动驾驶汽车发生严重车祸,这时需要带约束的强化学习模型对智能体的动作进行限制,尽可能避免到达某些状态。本文提出的期权交易框架基于带约束的强化学习,其中的保护性止损策略可以在很大程度上避免出现不能承受的损失。
其他文献
<正>"弹力"是高中教学的关键知识点,也是一个难点。对于学习了重力的学生来说,学习"弹力"是思维质的飞跃。但是,许多物理老师误以为弹力只是重力的拓展,不重视弹力相关物理概念、模型的建构,导致部分学生学习弹力时受前概念的干扰,难以真正理解和掌握。因此,在弹力教学设计中,教师应该遵循提出问题—实验探究—讨论总结的教学逻辑,明确弹力教学目标和重点难点,通过实验探究引导学生从各个方向和多个角度探究弹力知识
目的:通过靶向超高效液相色谱-电喷雾串联质谱法(UPLC-ESI-MS/MS)检测半夏白术天麻汤对载脂蛋白E基因敲除(ApoE-/-)小鼠血浆氧化三甲胺(TMAO)相关代谢物及TMAO代谢途径的影响,探讨半夏白术天麻汤改善动脉硬化的药理作用机制。方法:选取雄性ApoE-/-小鼠36只,高脂高胆固醇饮食12周后,随机分为半夏白术天麻汤组[17.8 g/(kg·d)]、瑞舒伐他汀钙组[0.08 mg/
聚乙醇酸(PGA)是一种具有优异生物相容性的可降解高分子材料,被广泛应用于生物医用、包装及油气开采等领域。文章综述了PGA的合成方法,包括直接缩聚方法和开环聚合方法等。对比了乙交酯通过配位-插入聚合、阴离子聚合或阳离子聚合得到的聚乙醇酸的基本性能及反应机理。归纳总结了PGA应用于可吸收缝合线、骨折内固定、组织工程、药物递送和生物胶水等生物医学领域的加工方法、性能要求和效果,并对PGA在生物医学领域
<正>2022年11月,美国OpenAI公司开发的人工智能聊天机器人程序ChatGPT横空出世,然后迅速发展壮大,影响力遍及全球。该程序不仅可以根据用户给出的指令,自动生成文本(如生成剧本、歌曲、报告以及论文等)和回答问题(如根据问题生成答案和编写计算机程序),还能记住之前与用户的对话和用户输入的指令,并对一些潜在的有危险性的问题(如哪里能买到毒品)进行智能规避,以及对一些冒犯性或歧视性(如种族或
目的 探讨心脏运动康复对急性心肌梗死(AMI)患者行经皮冠状动脉介入术(PCI)后心功能和血清载脂蛋白E(apoE)、载脂蛋白B(apoB)水平的影响。方法 选取2019年8月-2020年9月三亚市中医院内二科148例成功进行PCI的AMI患者,随机分为对照组与研究组,各74例。对照组采取常规药物治疗与常规护理干预,研究组在此基础上给予心脏运动康复干预。比较两组患者干预前后心功能指标[左室射血分数
现行高中物理教材中的弹力概念教学未能展现概念的建构逻辑,未能显化科学方法,致使学生对弹力及胡克定律本质理解模糊。鉴于此,基于物理概念的教学要求,重构了弹力的教学设计,为物理概念教学提供了有益的启示。
在康德传统和前康德的莱布尼茨—沃尔夫传统之外,德国启蒙还有温克尔曼开启的审美启蒙传统。德国启蒙的审美路线因为多涉及艺术史和文学史而常被狭义上的哲学史忽视。可审美启蒙或“美育”在当下实有不可忽视的意义。温克尔曼的“模仿古人”和卢梭的“返回自然”一样,是对英法启蒙传统的反思。温克尔曼不但在启蒙时代强调文化意识,还通过美化希腊塑造了现代德国的文化认同。真正继承温克尔曼的不是持实证主义立场的维拉莫维茨,而
<正>小学英语听说整合作业是对小学英语听说课堂的有效延伸,是对课堂教学的巩固和深化。“一点二线四面”原则可以帮助教师有效地设计听说整合作业,其以话题和语篇为出发点和着陆点,把可操作和可反馈为衡量作业可行性的首要条件,从作业目标、作业内容、作业结构、作业层次四个方面入手,设计高质量的小学英语听说整合作业。一、小学听说整合作业的重要性及存在的问题听和说作为会话活动的基本组成,在交际中占据十分重要的地位
目的 探讨载脂蛋白E(APOE)基因多态性与脑卒中合并抑郁的相关性。方法 选择2020年1月至2021年2月平湖市第一人民医院及金华市第二医院收治的118例脑卒中患者(各59例),根据是否合并抑郁症分为合并抑郁症组48例和单纯脑卒中组70例。对比两组患者APOE基因型分布及等位基因频率,采用多因素logistic回归分析脑卒中患者发生抑郁的影响因素。结果 合并抑郁症组ε2ε2、ε3ε3、ε4ε4、