水库优化调度问题是一个具有马尔可夫性的优化问题。强化学习是目前解决马尔可夫决策过程问题的研究热点，其在解决单个水库优化调度问题上表现优异，但水库群系统的复杂性为强化学习的应用带来困难。针对复杂的水库群优化调度问题，提出一种离散四水库问题基准下基于n步Q-learning的水库群优化调度方法。该算法基于n步Q-learning算法，对离散四水库问题基准构建一种水库群优化调度的强化学习模型，通过探索经验优化，最终生成水库群最优调度方案。试验分析结果表明，当有足够的探索经验进行学习时，结合惩罚函数的一步Q-learning算法能够达到理论上的最优解。用可行方向法取代惩罚函数实现约束，依据离散四水库问题基准约束建立时刻可行状态表和时刻状态可选动作哈希表，有效的对状态动作空间进行降维，使算法大幅度缩短优化时间。不同的探索策略决定探索经验的有效性，从而决定优化效率，尤其对于复杂的水库群优化调度问题，提出了一种改进的ε-greedy策略，并与传统的ε-greedy、置信区间上限UCB、Boltzmann探索三种策略进行对比，验证了其有效性，在其基础上引入n步回报改进为n步Q-learning，确定合适的n步和学习率等超参数，进一步改进算法优化效率。