投资组合问题是将资金不断地重新分配到不同金融产品,在保证预定收益的前提下使投资的风险最小,或在控制风险的前提下使得投资收益最大化。传统的投资组合思想注重风险分散,现代投资组合思想则关注选取最优投资比例或最优组合规模。本文针对数字货币市场的投资组合的最优投资比例问题,提出一种基于深度强化学习框架的解决方案。该框架主要包括数字货币历史数据预处理、输出投资组合策略的深度神经网络、保存数字货币历史数据和分配策略的经验池、强化学习的奖励机制以及在线随机批量学习方案。本文主要工作如下:1.为了筛选出关联性较高的数据属性,本文首先通过XGBoost算法对数字货币数据属性进行特征重要性排序,筛选出重要性排序靠前的三种货币属性,去除关联性不强的属性达到降低计算量,提高训练效果的目的。同时将输入数据按照货币属性、货币数量和历史数据时间段三个方面构建成三维输入数据。2.当前深度学习处理金融问题时,往往试图预测价格的变动,交易代理人根据预测结果采取行动,然而未来市场价格很难预测。本文使用深度强化学习算法能够直接做出交易动作决策,并分别使用卷积神经网络(Convolutional Neural Network,CNN)、卷积长短时记忆网络(Convolutional Long Short-Term Memory Network,ConvLSTM)和改进的深度可分离卷积网络(Depthwise Separable Convolution)作为投资组合策略输出网络,并通过Policy-based强化学习方法对数字货币市场进行充分探索和学习,给出合理的投资组合策略。和传统的投资组合策略方法相比,在相同货币数不同时间段和相同时间段不同货币数的回测实验结果比较中,基于深度强化学习方法的几种网络框架结果都取得更高的最终资产价值,并且改进的深度可分离卷积网络在取得很好的效果同时,能够有效地减少计算参数加快网络的训练。3.在上述研究基础上,为进一步提高模型的投资收益,本文提出了一种可分离门控网络,该网络能够对卷积网络输出的三维特征图的各个维度的数据赋予不同的权值,并将各个维度的权值融合,从而更好地对特征数据进行增强和抑制。将该网络分别融入到CNN、ConvLSTM以及改进的深度可分离卷积网络中,实验结果都进一步得到了提高。