深度强化学习作为机器学习的一个分支,其通过结合深度学习的感知能力与强化学习的决策能力实现了对从感知到行为端到端的学习。目前,基于值函数的深度强化学习相关研究已经在以高维感知数据为输入的序列决策任务中取得了巨大的成功,但仍面临值函数近似不准确、学习速度慢、训练数据利用率低等问题。此外,在更为复杂的部分可观测环境下,由于常使用循环神经网络进行状态信息的计算,算法还存在网络训练困难以及性能不稳定的问题。为缓解这些问题,本文对基于值函数的深度强化学习算法的模型结构进行研究与改进,本文的主要工作与贡献分为以下三部分:（1）提出了基于预测信息的深度Q学习算法。为提升深度Q学习算法的决策水平以及训练数据利用率,新算法在深度Q网络中嵌入经验预测模块。该模块可以根据经验为智能体提供具有导向作用的预测信息,帮助其进行最优值函数的计算,从而提高算法的决策水平。并且算法所添加的预测信息是由经验池中提取的训练数据计算获得,而非通过模型模拟,因此可以提高智能体对训练数据的利用率,同时避免了对复杂环境建模困难的问题。（2）提出了基于循环预测状态表示模型的深度Q学习算法。在部分可观测环境中,智能体无法根据当前观测来确定准确的状态,所以需要根据过去动作和观测历史对当前状态进行预测表示。考虑到有模型算法具有稳定性好、数据利用率高的优势,本文使用神经网络对具有连续观测空间的部分可观测环境建立循环预测状态表示模型,实现了对状态的表示与跟踪,然后将循环预测状态表示模型与深度Q网络相结合,实现了在连续部分可观测环境下求解序列决策问题。（3）提出了基于循环卷积神经网络的POMDP值迭代算法。现有的QMDP-net算法通过使用卷积神经网络来参数化表示QMDP算法,实现了快速高效地求解部分可观测马尔科夫决策问题。但QMDP-net仅使用卷积层和最大池化层来模拟值迭代更新过程会导致出现算法性能不稳定的问题,因此本文对其网络结构进行了改进,通过使用门控循环单元网络来代替实现QMDP-net算法的值迭代更新过程,将价值迭代模块重构成循环卷积网络,从而有效地缓解QMDP-net算法由于网络结构带来的优化问题,使智能体在部分可观测马尔科夫决策问题中有更好的性能表现。