高纬度油田的原油由于粘性较大、析蜡较多,常常伴随多种加热方法。当前的生产现场中,某油田采用掺水加热法,在采出原油中混入热水并加压来保证回液温度和压力,维持油田正常的生产流程。由于管网中的油井数量较多,无法精准调控每个掺水阀门的开度大小以及加热炉和加压泵的运行功率,现场采用设备全功率运行、阀门全开的掺水设计,造成了大量的经济损失和不必要的人力消耗。针对这类问题,控制理论和神经网络是尝试解决的经典方案。对于管网系统参数优化控制问题,传统自动控制方法需要制定加热炉和加压泵功率大小以及各阀门开度大小,再利用PID(Proportion Integration Differentiation)等方法进行调整,依赖工程师的现场经验的同时不具备实时调整的设计;神经网络算法可以复现大数据中的控制模式,却无法学习到动态多变的现实环境中的特征。因此目前尚未出现高效可用的解决办法。本论文提出了一种深度强化学习DDPG(Deep Deterministic Policy Gradient)方法,在掺水管网参数优化控制问题上具有自适应环境变化、实时调整参数设置和无需大数据进行训练的优势。该方法结合了深度学习对高维特征的非线性拟合特性,以及强化学习对动态环境进行奖惩的灵活性,实现了多智能体复杂环境下协同决策和参数优化的效果。由于现场工程作业的复杂性和人工密集性,本论文同时设计了基于斯伦贝谢PIPESIM软件的油田仿真管网流动系统,对其中的全部物理模型进行参数设置并通过了可行性检验,为DDPG方法提供了交互获取数据的环境。经过算法设计和模型实验对比,得到掺水管网DDPG模型在奖励值及损失值变化上优于同类模型,存在批次大小和学习率参数的敏感性。在仿真模型中应用,得到17%、4300万元的节电效果,同时满足低于1.39%的理论危险决策率,具备实际应用的潜力。本论文是对目前石油工业深度强化学习应用的较早探索,实现了工业连续决策和连续控制算法的设计和实验,避免了复杂的人工计算和大量无意义数据的收集存储,与传统算法相比达到了更高的理论和实验水平。改进的掺水管网参数优化控制系统为油气田开发工程中相似问题提出了一种可行的思路,同时为扩展到更丰富的应用场景提出了可能。