在经济管理活动中,我们常常遇到一些较为复杂的随机序贯决策问题。当随机序贯决策问题不含有约束条件时,通常可以利用马尔可夫决策过程（MDP）对其进行建模描述。然而在很多实际问题中,决策者不仅需要最优化目标函数,还需要满足其他一些性能指标的约束,因此单一性能指标的优化已经不足以描述这类含约束的随机序贯决策问题。对于含约束的随机序贯决策而言,通常可以将其建模成受约束的马尔可夫决策过程（CMDP）。本文以受约束的马尔可夫决策过程为研究对象,基于增广拉格朗日函数,提出了一种新的原始对偶算法来求解CMDP。算法的两个核心步骤分别是策略迭代以及更新拉格朗日乘子。在进行策略迭代时,算法首先对增广拉格朗日项进行一阶泰勒展开,将其线性化,并利用KL散度作为正则项,结合贝尔曼正则化算子来求解下一步的策略。根据KL散度的定义,本文求解出策略迭代时?（a|s）的显式表达式。在更新完策略后,再利用投影梯度上升迭代拉格朗日乘子。由于策略迭代需要知道对应状态下每个动作的Q值,因此文章中利用蒙特卡洛方法采样的方法来估算Q函数值。另外,在建立该原始对偶算法后,本文又对算法进行了收敛分析,最终发现当步长为常数步长时,算法可以取得（（））Olog T T的收敛速率;当步长为递减步长时,可以取得O（1 T）的收敛速率。除此之外,本文还研究了一类具有特殊性质的弱耦合的马尔可夫决策过程,由于弱耦合马尔可夫决策过程具有可分解的性质,所以当初始策略为可分解策略,并使用基于增广拉格朗日的原始对偶算法去迭代求解时,得到的策略将始终为可分解策略。因此在利用原始对偶算法迭代求解时,可以将其拆解成几个子问题进而分别进行策略迭代,这种可分解的性质可以减轻状态动作空间较大时CMDP遇到的“维数诅咒”问题。另外本文利用了多个数值实验来证明算法收敛分析的正确性,分别是单产品多周期的库存实验、多产品多周期的库存实验以及多顾客种类多服务器类型的排队系统规划实验,其中后两个实验正属于弱耦合的马尔可夫决策过程。在前两个实验中,由于状态动作空间有限且规模较小,因此可以直接利用蒙特卡洛模拟采样出所有状态动作空间对的Q值进行策略迭代;后一个问题尽管可以拆解成多个子问题,但是状态动作空间仍较大,因此不仅在动作空间上做了处理,将动作空间修改成优先规则,并且利用函数近似的方式来拟合不同动作下的Q函数来减轻遇到的“维数诅咒”。最终这几个实验的结果中可以发现相较于Yi等人（2021）中的原始对偶算法,本文提出的基于增广拉格朗日的原始对偶算法能够收敛到与之相近CMDP目标成本值,且算法不容易出现波动的情况,迭代过程更为平滑。这是由于更新拉格朗日乘子时,增广拉格朗日函数关于对偶乘子的梯度能缩小其变化范围,导致对偶乘子迭代波动相对更小,另外在做策略迭代时利用了状态动作对Q值的指数函数,所以更小波动的拉格朗日乘子也会导致策略迭代更为平滑。除此之外,基于增广拉格朗日的原始对偶算法含约束的二次项,因此算法在迭代过程中产生的大部分策略都能满足约束且可以更好地保证约束的满足。