论文部分内容阅读
本篇硕士论文考虑的是马氏决策过程(Markov Decision Processes,简记为MDP)的折扣模型,分别在广义可测策略下对离散时间和连续时间MDP折扣模型作了讨论。其中,状态空间和行动空间都为Borel空间,费用函数可以即无上界也无下界,并且对于连续时间情形下的转移率也可以是无界的。我们分别对离散时间和连续时间MDP折扣模型提出了下半解析及其相关假设,然后确定了最优方程,并基于广义可测选择定理证明了ε(>0)最优平稳策略的存在性,推广了Bertsekas 和 Shreve,Dynkin 和 Yushkevich,Hernández-Lerma和Lasserre,以及Guo,X.P中的主要结果。全文共分四章:
第一章为综述,简要地介绍了马氏决策过程的历史背景,研究内容,分别阐述了离散时间和连续时间MDP折扣模型的发展现状以及本文所做的丰要工作。
第二章介绍了广义可测的相关概念和定理,包括广义可测的概念,下半解析函数的定义及其性质,以及广义可测选择定理。
第三章讨论了离散时间MDP折扣模型,首先我们给出了广义可测策略的定义,进而提出了下半解析相关条件。值得注意的是此条件远远弱于以往文献中的连续紧等假设条件。然后我们在此条件下利用动态规划算子建立了最优方程,并证明了它是压缩算子,从而利用Banach不动点定理保证了最优方程解的存在,而后证明了它等于最优费用函数。在证明过程中,我们可以得到最优费用函数的下半解析性,从而可以利用广义可测选择定理保证ε(>0)最优平稳策略的存在性。
第四章讨论了连续时间MDP折扣模型,首先同样给出广义可测策略的定义,然后提出下半解析相关假设。省去了以往常用的连续紧条件。在此条件下,我们利用Feller最小Q过程的构造方法证明了任意策略对应的转移函数都是正则的。而后我们利用线性算子构造了最优方程,证明了此算子从某个特殊的初始点开始迭代是单调递减的,并且运用扩展的无穷小生成元方法证明了它收敛于最优费用函数。同时,由收敛性保证了最优费用函数的下半解析性,最后利用广义可测选择定理确定了ε(>0)最优平稳策略的存在性。