众所周知,博弈论是对多个主体制定策略的研究。从控制论的角度来说,我们可以把它看作是一个高维最优控制问题。博弈问题中的数学模型有很多种,例如,按参与者之间的关系来划分,可以是合作关系,也可以是冲突（非合作）关系,它在金融市场、管理科学、计算机科学、物理、化学等领域有着广泛的应用。最早的研究是关于零和博弈的,即所有参与者的总利润是等于他们的总损失的。这是非合作博弈的一个特例,现在我们把纳什均衡策略称为这种非合作博弈中的一种“最优”策略。随着博弈论的发展,越来越多的科学家运用博弈论来解决各自领域的问题。在许多数学模型中,参与者总是有相互冲突的目标。因此,纳什均衡分析在这样的环境下变得非常重要。结合随机分析,博弈论逐渐发展出一个新的分支,称为随机微分博弈（简称SDG）。这是博弈论从确定性发展到随机性的一大进步。随机微分博弈的数学模型在含噪声的动态系统建模中是非常有用的。在文献中,对随机微分博弈的研究可以追溯到20世纪60年代（参见[6,7,9,50,80,92]）。近年来,受控的平均场随机微分博弈（简称MFG）在决策分析、工程应用、投资组合选择、金融市场等领域得到了广泛的研究,平均场博弈的一个应用是处理大种群系统。许多关于平均场博弈的研究已经展开。自从Huang-Caines-Malhame[43,44]和Lasry-Lions[58,59,60]的相关研究以来,平均场博弈理论及其应用得到了迅速发展。平均场博弈理论的相关研究包括Bardi[8],Bensoussan-Frehse-Yam[13],Carmona-Delarue[23],Garnier-Papanicolaou-Yang[38],Gueant-Lasry-Lions[37]等等一些参考文献。这里需要注意,平均场博弈和平均场类型的控制问题是不同的概念,例如[2,30]。在随机微分博弈问题中,斯塔克尔伯格博弈问题（又称主从博弈）是由H.Von S-tackelberg于1934年首次提出的。斯塔克尔伯格博弈描述了参与者地位或者信息不对等的情况下进行的博弈问题。它将参与者分为领导者和跟随者。人们对斯塔克尔伯格随机微分博弈进行了大量的研究。Basar[9]研究了线性二次系统下的斯塔克尔伯格博弈。Bensoussan-Chau-Yam[10]研究了平均场下的斯塔克尔伯格博弈。斯塔克尔伯格随机微分博弈的最大值原理由Bensoussan-Chen-Sethi[12]给出。Demiguel-Xu[29]则是研究了斯塔克尔伯格随机微分博弈中存在多个领导者的案例。Du-Huang-Qin[30]研究了带延迟的斯塔克尔伯格随机微分博弈的最大值原理。与平均场下斯塔克尔伯格随机微分博弈非常相似的一个主题就是平均场下的主次随机微分博弈问题。这是大种群系统中的一个概念,在大种群系统中,虽然次要参与者的个体影响可以忽略不计,但是次要参与者可以通过改变他们的状态平均来影响整个大种群系统,而主要参与者则通过改变自己的策略就可以直接影响大种群系统。有大量的文献研究了平均场下的主次随机微分博弈。据我所知,Huang[46]最早提出了这个模型。此后,Nourian-Caines[70]验证了其纳什确定性等价理论。Huang-Wang-Wu[41]研究了倒正向随机微分方程（简称BFSDE）系统中的主次平均场博弈。平均场博弈的一个显著特点是,状态方程和代价泛函都与平均场项存在一种弱耦合结构。在求解平均场博弈问题时,我们首先想到的就是解耦,因此我们考虑可以引入某些黎卡提方程用来对相应的正倒向随机微分方程进行解耦求解。一个有趣的结果是,我们在研究斯塔克尔伯格平均场博弈时,如果将其状态方程设为正向随机微分方程（简称SDE）,那么辅助极限问题中,领导者的状态方程最终仍然是一个正倒向随机微分方程（简称FBSDE）。本文主要讨论线性二次（简称LQ）情形,其中状态动态由一个线性方程驱动,代价函数为关于状态和控制的二次型。它是博弈论和控制论领域中的一个经典的基本问题。在过去的几十年里,确定性和随机性的线性二次控制问题都得到了广泛的研究。Kushner[50]首先利用动态规划原理研究了随机线性二次（简称SLQ）最优控制问题。此后.Won-ham[92]研究了随机线性二次滤波问题中出现的扩展版的矩阵值黎卡提方程。利用泛函分析理论,Bismut[6]证明了黎卡提方程解的存在性,并导出了随机系数线性二次最优控制问题中具有随机反馈形式的最优控制的存在性。基于线性二次系统的良好结构,目前已有许多基于线性二次模型的平均场博弈建模工作。Li-Sun-Yong[54]研究了线性二次平均场博弈的开环（简称OL）可解性;Sun[85]研究了线性二次平均场博弈的闭环（简称CL）可解性。此外,大种群系统中的线性二次博弈类似于线性二次平均场博弈,关于大种群系统中线性二次博弈的研究也有很多文献。Huang-Malhame-Caines[44]研究了参与者状态非均匀的大种群系统中的线性二次博弈,并证明了其ε-纳什均衡性质。在[45]中,Huang-Caines-Malhame研究了一类具有N个参与者的线性二次博弈,他们的共同目标是最小化他们N个参与者的代价泛函之和的代价泛函,称为社会最优问题。这是一种合作博弈,在实际问题中有相应的应用。有关线性二次平均场博弈的更多文献,请参考[41,42,31]等。随机线性二次问题的另一个扩展是考虑状态方程和代价泛函中的系数包含随机跳变的情况,如泊松跳变或状态切换跳变。近年来,越来越多的人研究了状态切换模型在金融和随机线性二次问题中的应用,并发表了大量的文献。例如,Wu-Wang[93]首先考虑了带泊松跳的随机线性二次问题,得到了确定性黎卡提方程的解的存在唯一性。此外,还讨论了带跳随机黎卡提方程的解的存在唯一性,以及带跳随机黎卡提方程与随机线性二次最优控制问题的哈密顿系统之间的联系。Yu[103]研究了带跳扩散模型状态系统下的一类不定的倒向随机线性二次最优控制和博弈问题。Li等人[55]解决了带泊松跳的不定随机线性二次问题。状态切换系统中的线性二次随机最优控制问题在期权定价、科学、工程、金融投资和经济学等领域都具有重要的现实意义。在应用概率论和随机控制理论中,状态切换模型及其相关问题得到了广泛的研究。近年来,人们对这类随机线性二次最优控制问题及其金融应用的研究越来越感兴趣。例如,Li-Zhou[53]以及Li-Zhou-Ait Rami[55]引入了带马尔科夫跳的不定随机线性二次最优控制问题,Liu-Yin-Zhou[57]考虑了带不定权重控制的代价泛函的状态切换线性二次问题的近似最优控制,Donnelly[32]分析了状态切换扩散模型关于最优控制的随机最大值原理,Tao-Wu[88]研究了正倒向状态切换系统关于最优控制的随机最大值原理。从金融领域来看,人们通常会发现两种市场状态,一种是价格上涨的牛市,另一种是价格下跌的熊市。因此,状态转换模型下的投资组合选择问题在金融投资中具有重要的现实意义。适用的典型例子包括但不限于Yiu-Liu-Siu-Ching[102],Donnelly-Heunis[33]等。基于上述的研究,本文的主要思想是将线性二次平均场博弈与状态切换系统相结合。如我们所知,如果直接研究具有随机系数的平均场博弈,那么我们就缺乏一些必要的数学工具来处理相应的正倒向随机微分方程。但随着马尔科夫链理论的迅速发展,我们足以处理具有状态切换系统的线性二次平均场博弈问题。此外,我们还对其它一些问题感兴趣,例如由倒正向随机微分方程系统驱动的斯塔克尔伯格平均场博弈;在同一平均场博弈中斯塔克尔伯格博弈与主次博弈的结合;以及状态切换系统在金融市场中的应用。本论文包括以上所有的待讨论的主题。在处理随机系数平均场博弈问题时,我们不能避免E[A（t,α（t））X（t）]≠A（t,α（t））E[X（t）]所带来的这一困难,而在确定性系数下可以避免,是因为E[A（t）X（t）]=A（t）E[X（t）]。虽然在离散时间下已经有文献给出了一些划分状态空间的方法,但它不能应用于连续时间模型。因此,在这种困难的限制下,我们无法引入黎卡提方程来解耦相应的正倒向随机微分方程以获得最优控制的反馈形式。然而,我们仍然可以讨论状态切换系统中平均场下线性二次最优控制问题的开环可解性。本文具体的结构如下:首先我们在第一章综述了各个研究问题的背景,以及研究的动机和目的,便于读者快速了解论文内容。接着第二章,我们研究了具有倒正向状态的大种群系统,并建立了相应的线性二次平均场博弈模型。对于领导者和跟随者,分别构造了辅助极限问题,并求解了相应的最优控制。由于倒正向系统的特点,我们不能通过引入黎卡提方程来解耦一致性条件（简称CC）系统。因此,我们给出了一些单调性条件,并用压缩映射方法证明了它的适定性。此外,分散化策略也从CC系统中被推导出。此外,基于一些正倒向随机微分方程解的估计,我们还验证了原问题的ε-纳什均衡性质。更进一步,我们在第三章中研究了主次博弈与斯塔克尔伯格博弈耦合的情况。我们将参与者整体上分成三组:主要领导者、次要领导者和（次要）跟随者。在实际应用里,它们可以代表金融市场上的三种主体:主要供应商、次要供应商和（次要）生产商。在这样的平均场博弈中,我们推导出了近似斯塔克尔伯格-纳什-古诺（简称SNC）均衡。虽然我们假设了所有的参与者都是正向状态,但是斯塔克尔伯格-纳什-古诺分析告诉我们,由于斯塔克尔伯格结构的存在,主要领导者最终会自然地形成正倒向状态。这一结果不同于标准平均场博弈框架文献中所得出的结果,主要是由于我们这里采用了斯塔克尔伯格结构。通过变分分析,一致性条件系统可以用一些完全耦合的具有高维块结构的正倒向随机微分方程来表示。为了充分说明相应方程的可解性,我们还通过一些耦合的黎卡提方程导出了近似斯塔克尔伯格-纳什-古诺均衡策略的反馈形式。最后,我们验证了ε-斯塔克尔伯格-纳什-古诺均衡性质,并给出了在我们模型下的一些实际应用。在第四章中,我们研究了状态转换系统中的最优投资组合问题。所谓的状态切换就是指状态方程的系数是带有马尔科夫链的,一旦给定马尔科夫链所取值的状态,此时的系数就变成了确定性的连续函数。金融模型一般采用无摩擦市场、完备信息、无交易成本、无税收、无限制借贷和卖空的标准假设。全球金融危机后,全球各地的卖空禁令以及COVID 19期间的多家交易所的卖空禁令变得越来越重要。本章在文献中首次提出了一个模型,明确同时考虑通货膨胀、信息成本和卖空在状态切换模型下的投资组合绩效。我们的模型可以被投资组合经理用来评估这些市场缺陷对投资组合决策的影响。最后,第五章研究了平均场下状态切换系统的线性二次随机最优控制问题开环可解性。利用算子技术,推导出了代价泛函的泛函表达。结果表明,代价泛函的凸性是问题有限性的必要条件,而代价泛函的一致凸性最优控制问题的开环可解的充分条件。通过考虑一类一致凸代价泛函,给出了问题有限性的刻画,构造了一个与问题的可解性等价的极小序列。通过几个例子证明,我们的结果可以用于解决一些投资问题,例如均值方差模型中的投资组合选择问题。