本篇硕士论文考虑的是马氏决策过程(Markov Decision Processes，简记为MDP)的折扣模型，分别在广义可测策略下对离散时间和连续时间MDP折扣模型作了讨论。其中，状态空间和行动空间都为Borel空间，费用函数可以即无上界也无下界，并且对于连续时间情形下的转移率也可以是无界的。我们分别对离散时间和连续时间MDP折扣模型提出了下半解析及其相关假设，然后确定了最优方程，并基于广义可测选择定理证明了ε(>0)最优平稳策略的存在性，推广了Bertsekas 和 Shreve，Dynkin 和 Yushkevich，Hernández-Lerma和Lasserre，以及Guo，X．P中的主要结果。全文共分四章： 第一章为综述，简要地介绍了马氏决策过程的历史背景，研究内容，分别阐述了离散时间和连续时间MDP折扣模型的发展现状以及本文所做的丰要工作。 第二章介绍了广义可测的相关概念和定理，包括广义可测的概念，下半解析函数的定义及其性质，以及广义可测选择定理。 第三章讨论了离散时间MDP折扣模型，首先我们给出了广义可测策略的定义，进而提出了下半解析相关条件。值得注意的是此条件远远弱于以往文献中的连续紧等假设条件。然后我们在此条件下利用动态规划算子建立了最优方程，并证明了它是压缩算子，从而利用Banach不动点定理保证了最优方程解的存在，而后证明了它等于最优费用函数。在证明过程中，我们可以得到最优费用函数的下半解析性，从而可以利用广义可测选择定理保证ε(>0)最优平稳策略的存在性。 第四章讨论了连续时间MDP折扣模型，首先同样给出广义可测策略的定义，然后提出下半解析相关假设。省去了以往常用的连续紧条件。在此条件下，我们利用Feller最小Q过程的构造方法证明了任意策略对应的转移函数都是正则的。而后我们利用线性算子构造了最优方程，证明了此算子从某个特殊的初始点开始迭代是单调递减的，并且运用扩展的无穷小生成元方法证明了它收敛于最优费用函数。同时，由收敛性保证了最优费用函数的下半解析性，最后利用广义可测选择定理确定了ε(>0)最优平稳策略的存在性。