在金融风险度量和金融衍生产品定价问题的驱动和实际应用背景下，非线性数学期望的研究近年来已经成为非常热点的问题.无论是对应经典线性数学期望的理论研究，还是在金融中的应用均具有非常重大的意义.本文围绕两类特殊且性质良好的非线性数学期望--f-期望（可以用来构造凸风险度量、一致风险度量）和G-期望（可以用来构造一致风险度量）的性质和应用展开研究和创新.　　全文总共包括五章内容.第一章为绪论，简练介绍了全文的研究背景、研究动机、主要的研究内容以及创新点;第二章主要研究感兴趣的第一类非线性数学期望--f-期望，得到了f-期望框架下，有关f-鞅的一类极大值不等式;第三章主要研究感兴趣的第二类非线性数学期望--G-期望，探讨了G-期望框架下，G-布朗运动的平方变差过程的鞅刻画定理，以及在G-期望变换下G-布朗运动的平方变差过程的分布的性质;第四章主要研究了由G-布朗运动驱动的倒向随机微分方程在生成元函数满足比传统的Lipschitz条件更弱的条件下的可解性问题;第五章是应用部分，假定风险资产价格服从几何G-布朗运动，在G-期望框架下对欧式看涨期权进行定价，得到了期权的价格上限和定价策略;　　第一章首先介绍了f-期望、G-期望各自的产生及应用背景，G-布朗运动驱动的随机微分方程及倒向随机微分方程的研究现状，并概述了全文的主要研究内容及主要的创新点.其中f-期望是由带跳的倒向随机微分方程的解诱导出来的，在满足一定的条件下任意流一致的非线性数学期望均可由这类期望产生，并且这类期望可以用来构造凸风险度量以及一致风险度量.而G-期望则是由非线性抛物型偏微分方程的解诱导出来的，并且它打破了传统的概率框架，是一种建立在非概率框架下的次线性数学期望，具有深刻的理论和应用价值.　　第二章在一类非线性数学期望--f-期望下，证明了一类f-鞅的极大值不等式.对应经典鞅论，在f-鞅论中，关于f-鞅的极大值不等式也是证明很多定理的基础性工具.为了克服f-期望的非线性性质给证明带来的困难，寻求一种关于f-期望的特殊不等式;而为了得到这种特殊不等式，必须在生成元函数上附加一个条件，也即生成元函数的凹性条件（凸性条件）.另一方面，生成元函数必须满足一定的条件，才能保证带跳的倒向随机微分方程的解的存在唯一性定理及比较定理的成立.而所加的凹性条件（凸性条件）与上述条件以及f-期望的定义中的条件均是可以相容的，也即表示了所加条件的合理性.　　第三章在另一类非线性数学期望--G-期望的框架下，研究了G-布朗运动的平方变差过程的性质.G-布朗运动有一个非常有趣的现象是:在经典鞅论中，布朗运动的平方变差过程是一个确定的函数;而在G-期望框架下，G-布朗运动的平方变差过程并不是一个确定的函数，而是一个具有独立平稳增量的连续随机过程;并且在G-期望框架下研究欧式未定权益的定价问题中，会涉及到G-布朗运动的平方变差过程，所以就非常有必要研究它的各种性质.首先得到了G-布朗运动的平方变差过程的鞅刻画定理，一个过程如果能够满足几条简单的鞅性质，就能得出它与G-布朗运动的平方变差过程具有相同的有限维分布.其次研究了G-布朗运动Bt的平方变差过程t在G-期望变换下的分布性质，得到〈B〉t在不同的G-期望(E)G和EG下具有分布不变性.　　第四章研究了一类G-布朗运动驱动的倒向随机微分方程在系数满足一定条件下的可解性问题.得到的是生成元函数满足比传统的Lipschitz条件更弱的条件下的解的存在唯一性定理.　　第五章是应用部分.用几何G-布朗运动来描述风险资产的价格过程，它能很好地刻画波动率的不确定性，从而有效改进经典Black-Scholes模型中股价波动率是常数这个与实际金融市场不相符合的假设.主要是将G-框架下的Girsanov定理应用于G-期望框架下的期权定价问题中，对欧式看涨期权进行定价，给出了期权的价格上限和定价策略.