本文的工作主要分为两大部分:第一部分利用动态规划方法和粘性解理论研究了Hamilton–Jacobi方程与控制集无界的二人零和微分对策问题,以及控制集无界的最优混合控制问题;第二部分研究了随机互惠种群模型和随机捕食者-食种群模型的动力学性质,给出了数值仿真,并研究了一类非自治种群模型的带有贴现率最优捕获问题。　　在本文第一部分中,首先研究了一类具有无界控制的二人零和微分对策问题。由于控制集的无界性,导致了相应的上下值Hamilton函数关于上下值函数的梯度是超线性增长的,本文在不依赖Hamilton函数的凸/凹性的情况下,给出了关于此类Hamilton函数的Hamilton–Jacobi方程粘性解的唯一性。同时在适当的强制性条件下,证明了上值函数与下值函数分别是相应的上值与下值Hamilton–Jacobi–Isaacs方程的粘性解,当Isaacs条件成立时,建立了本文微分对策问题值函数的存在性,并以一维的线性二次问题为例,说明了我们给出的假设条件在保证上下值函数有限性上是非常精确的。　　其次,本文研究了一类有限时区连续实施控制集无界的最优混合控制问题,给出了相应的Hamilton–Jacobi–Bellman方程粘性解的唯一性,证明了最优混合控制问题的值函数为相应的Hamilton–Jacobi–Bellman方程的粘性解,以及值函数的连续性。同时,本文还考虑了具有脉冲策略、无界连续实施与转换策略的二人零和微分策略问题,在适当的强制性条件下,给出了上下值函数分别是相应的上下值Hamilton–Jacobi方程的唯一粘性解,并建立了二人零和微分对策问题值函数的存在性。由于目标泛函中(正的)脉冲花费和/或转换花费的出现,在建立值函数的存在性时,并未要求Isaacs条件成立。　　在本文第二部分中,首先研究了随机互惠种群模型,证明了种群系统全局正解的存在唯一性,同时给出了全局正解随机有界性、一致连续性以及全局吸引性的充分条件;并在适当的条件下,证明了随机互惠种群模型的两类持久性:随机持久性和随机平均持久性;文中还给出了种群灭绝的充分条件;而且给出了相应结果的数值仿真。　　其次,本文研究了一类具有时滞的自治随机捕食者-食模型,给出了每一个种群依时间平均稳定和灭绝的充分必要条件,并给出了数值模拟。此外,本文讨论了一类非自治种群系统在无穷区间上带有贴现率的最优捕获问题,利用最大值原理给出了一类一般化的非自治种群模型的最优捕获策略,并给出了Logistic种群模型、Gompertz种群模型和Gilpin-Ayahs种群模型的最优捕获策略的显示表达式。