腔光机械系统是近年来被广泛研究的一个热点。典型的腔光机械系统是由一个光腔和一个纳米机械振子耦合而成，当光腔受到泵浦激光驱动时将会对机械振子产生辐射压力使得振子在平衡位置附近振动起来，这样腔的有效长度以及腔的共振频率都将发生改变，由此引起了一系列丰富的光学效应。本文中我们主要研究由两个光腔和一个纳米机械振子耦合形成的双模腔光机械系统中的非线性光学效应，主要包括该系统中的电磁诱导透明现象和慢光效应、腔内光子数的双稳态行为以及共振增强的四波混频效应等三个方面。本文共分为五章。在第一章中，首先介绍了腔光机械系统的研究背景，然后简单介绍了典型腔光机械系统的工作原理。同时也介绍了在实验上实现的几种不同的腔光机械系统。此外，本章还介绍了电磁诱导透明现象和四波混频现象。在第二章中，研究了双模光机械系统中的电磁诱导透明现象和慢光效应。我们研究发现在探测场与腔肠共振处透射谱会劈裂并产生透明窗口，而且伴随左侧泵浦功率的不断增大透射窗口也会越来越宽，并且透射强度趋近于1。在探测场与腔肠共振处同时也会产生相位，并且相位的斜率为一正数，此时在探测场中可以产生探测光速的群延迟，探测场透射谱的延迟时间最大可达4μs。在第三章中，我们研究了双模光机械系统中的光子与声子的可控光学双稳态。当对右侧光腔施加红失谐泵浦场驱动时，通过调节泵浦失谐量，左侧腔内的光子将会影响纳米机械振子的振动从而会对右侧腔光子数产生影响，且右侧腔内的光子数要大于施加蓝失谐驱动时的光子数。从我们研究中得到双模光机械系统产生双稳态行为所需的光子数要小于单模光机械系统所需的光子数，且在光子数极低的双模光机械系统中仍然可以产生双稳态行为。在第四章中，基于双模光机械系统电磁诱导透明现象，我们研究了共振增强的四波混频现象。在很低的泵浦功率下，当对左侧腔场施加红失谐驱动，右侧腔场施加蓝失谐驱动时，四波混频的强度可增加三个数量级。此外，当左侧腔内泵浦光束功率为零或与纳米机械振子的耦合强度为零时，四波混频的过程立即消失。第五章是本文的主要结论和展望。