本文共包括四章内容，第一章为绪论，介绍本文研究动机和研究框架;第二章是本文的主要部分，给出了G布朗运动的鞅刻画定理;第三章碲究对称G鞅的积分表示，以及利用非线性Markov链生成G期望的问题;第四章是应用部分，利用G期望给出了带有随机波动率的欧式看涨期权定价公式，作为理论准备还给出了G期望下的指数鞅定理和Girsanov定理。　　第一章主要介绍本文研究动机和研究框架，非线性数学期望的理论研究始于1953年Choquet对容度（非线性测度）的研究，理论上它是对Kolmogrov概率理论公理化的推广，在应用方面，它主要应用于解决经济学中效用问题和金融中的风险度量问题。G期望是非线性数学期望的一种，其研究始于2006年，Peng在[55]中定义了G期望、G布朗运动以及关于G布朗运动的It(o)型随机积分、It(o)公式，在理论方面，G框架涵盖了Kolmogrov的概率公理化体系，与容度理论相比，G期望具有良好的动态相容性;在应用方面除了应用于效用和风险度量问题之外，还应用于随机波动率条件卞衍生产品定价问题。因此无论是在理论还是在应用方面推广G期望的研究都有重要意义。　　第二章是本文的主要部分，给出了G布朗运动的鞅刻画定理，这一定理涵盖了概率体系下Lévy的布朗运动鞅刻画定理，注意到概率体系下Lévy的布朗运动鞅刻画定理的证明是依赖于正态分布的特征函数的性质，但是在G期望下并没有给出G正态分布的"特征函数"的合理定义，本章用其他方法证明了G布朗运动的鞅刻画定理，这也给出了Lévy定理的另外一种证明方法。在本章中还讨论了G条件期望的filtration一致性问题。　　第三章利用G布朗运动的鞅刻画定理给出了两个结果，一是G期望下一类对称鞅的随机积分表示定理。在文献[54]中，Peng定义了非线性Markov链，并用Markov链生成非线性数学期望，本章的第二个结果始研究如何用非线性Markov链生成G期望。事实上，讨论非线性Markov链生成G期望问题时，利用了笔者的一个前期结果，即文献[67]中关于一般的非线性数学期望卞G布朗运动的鞅刻画定理，此定理不依赖于一族弱紧的概率测度族，但是依赖于Markov性，利用这一定理给出了一个用非线性Markov链生成G期望的方法。　　第四章是本文的应用部分，给出了自融资条件下带有随机波动率的欧式看涨期权定价公式，与前人工作相比，本章中的结果是动态的，即得到了在执行时间和初始时刻之间任何时刻的期权定价公式，而且给出了动态策略，作为理论准备本章中述给出了G期望下的指数鞅定理和Girsanov定理。　　G期望是一个新兴研究方向，从产生至今只有两年左右时间，但它确有良好的发展前景，在应用方面它可应用于解决风险度量问题、随机波动率问题，在理论方面它是Kolmogrov概率体系的推广，并且克服了容度不具有动态相容性的弱点。本文中给出了G布朗运动鞅刻画定理，Girsanov定理等基本定理，并给出了随机波动率情形下欧式看涨期权的定价公式，为实际工作提供了理论依据。在这一理论中还有很多有待解决的问题，如一般的G鞅积分表示定理，建立G框架下的倒向随机微分方程，用来解决风险度量产生机制问题;给出G期望下的"停时"的合理定义，解决随机波动率条件下美式期权定价问题等。