时间序列数据在生活中随处可见,天气预报中的每日温度、每天超市张贴的猪肉价格、国家统计局每月公布的消费者物价指数等。人们对时间序列的研究由来已久,最早的时间序列分析甚至可以追溯到7000年前的古埃及,他们对尼罗河的涨落情况逐天记录下来,以此来预测洪水泛滥,指导农业生产。人们期望通过分析时间序列数据,可以找到其中的规律,从而能够对未来的情形有较好的预测,指导现在的行为。另一方面,从围棋到电子竞技游戏、从机器人控制到自动驾驶,强化学习已经从纸上谈兵的构想变成了触手可及的现实。作为有望实现通用人工智能的技术,强化学习承载了研究人员对未来的美好愿望,即让计算机拥有真正的学习能力,在与环境的交互中不断提升自我,并有望发挥出无限的潜能。时间序列分析的现实目的是指导人们的行为,而强化学习模型的输出也是当下应当做出的行为,如果将时间序列数据作为强化学习模型的输入,输出依旧是当下要做的动作,这样就构建出了一个端到端的时间序列决策系统。这样的系统可应用于异常检测、疾病诊断、网络安全、金融交易等很多领域,研究前景广阔,潜力巨大。而在时间序列强化学习模型的研究中仍有很多问题需要解决,例如时间序列的数据表征、时间序列的数据增强,除此之外,有些任务由于环境或是数据集的限制还需要用到带约束的强化学习、模仿专家强化学习。本文研究了时间序列强化学习模型三个方面的问题,具体内容如下:第一是时间序列的数据表征。本文提出了将有监督的学习与强化学习相结合,通过共享网络参数来实现时间序列数据表征的方法。深度学习中有很多处理时间序列数据的网络结构,而深度学习的任务往往是有监督的学习,即训练数据集中有作为“正确答案”的标注,深度学习模型需要从输入中提取出有用的特征,然后根据这些特征得到模型的输出,学习的目标是使得输出与标注越接近越好,在这个过程中模型提取特征的能力也会越来越强。将强化学习与有监督的学习相结合,让它们共用一部分网络结构,这样强化学习模型就可以借助深度学习模型的数据表征能力获得更好学习效果。第二是时间序列的数据增强。本文提出了基于分形理论的数据增强方法,以及一种度量数据增强前后数据集相似性的方法。强化学习算法需要大量的训练数据才有可能得到令人满意的模型,如果现实中的数据量有限或者获取数据的成本太高,就需要用到数据增强来增加数据量。本文提出的度量数据集相似性的方法基于均值、方差和JS散度。如果两个数据集在此度量方法下达到相似的阈值,就可以应用基于分形理论的数据增强方法,用细粒度的时间序列数据集扩充粗粒度的时间序列数据集,达到数据增强的效果。第三是专家策略强化学习模型。本文提出了一种基于带约束强化学习的期权交易框架。人们心目中理想的强化学习模型可以从随机参数开始训练,只通过观察到的状态、采取的行动、环境反馈的奖励就可以学出令人满意的模型。然而现实环境中可能有些状态不应该去探索,例如自动驾驶汽车发生严重车祸,这时需要带约束的强化学习模型对智能体的动作进行限制,尽可能避免到达某些状态。本文提出的期权交易框架基于带约束的强化学习,其中的保护性止损策略可以在很大程度上避免出现不能承受的损失。