随着人工智能技术的发展,人工智能逐渐在越来越多的领域得到了广泛的应用。在经济与金融的领域里,人工智能的作用也越来越突出。近年来,有大量的基于深度学习方法对于股票价格波动的研究。现有对于股票价格波动的研究一般停留在对股票价格的预测上,这样的研究可以达到很高的准确率。对于某天股票的价格,低于或高出一定价格的预测准确率是相同的,然而这对股票交易来说对应着盈利或亏损两种完全不同的结果。同时利用神经网络预测股票价格有很高的延迟性,神经网络只需重复前一天的数据即可获得极高的准确率,这对股票价格的预测也是毫无意义的。并且现有方法对于股票价格的预测是指导性的,依然需要人来根据预测的价格进行股票交易决策,而不能实现股票的自动交易决策。本文受到Alpha Go博弈思想的启发,采用深度强化学习的方法,实现了无需人为参与的自动股票交易决策。相比于预测的方法,本文的方法对于股票投资者的指导意义更大。本文的研究内容如下:1、建立股票交易决策模型:分析现有股票交易预测模型的缺点,对股票数据的变化规律进行数学建模,从股票数据变化的数学模型上论证用强化学习解决股票交易决策问题的可行性,提出了基于深度强化学习的股票交易决策模型,并给出股票交易决策模型的具体结构。2、股票交易决策的环境模型:查找互联网上股票数据,并且根据数据量的大小、数据的质量、获取数据的难易程度等,寻找优质的数据来源,获取股票数据。在获取后手工筛除连续缺失数据过多的数据,并且保证留下的数据足够训练。将数据集进行清洗、预处理后,进行手工特征提取,根据经验将对炒股比较关键的指标,如日均线等加入股票的历史数据中,构造训练数据集。给出了股票交易决策的环境模型中的具体内容。3、股票交易决策的智能体模型:论述强化学习算法的数学理论基础和原理,介绍主流的深度强化学习算法,根据不同强化学习算法的优缺点以及它们对于股票交易问题的适应性,选择合适的强化学习算法。根据股票数据有时序特征的特点,选取长短期记忆网络(Long Short Term Memory,LSTM)提取数据特征。针对股票交易决策的特点,对强化学习算法进行改进,使之能够适应股票交易的特性。给出了股票交易的智能体模型中的具体内容。4、基于改进深度Q网络(Deep Q Network,DQN)的股票交易决策:根据改进的DQN网络和LSTM网络构建股票交易决策的模型,并且针对不同输入数据量、不同网络层数、不同神经元个数以及不同的正则化手段对模型进行对比,得出当前参数最优的网络,并且取得了良好的决策效果。在本文的研究中,对股票交易的问题提出了全新的股票交易决策概念,并且提出了用强化学习进行股票交易决策的模型,基于改进的DQN算法对该股票交易决策模型进行了实现。使用经过数据预处理与手工特征提取的股票历史数据作为模型的输入,得到了较为良好的股票交易决策效果,并且对该问题未来进一步的研究有重要的指导意义。