光学微腔是一种利用界面上的全反射原理将光限制在微米量级区域的一种谐振腔。通过全反射的限制，谐振模式的光能够沿着微腔的边缘长时间传播，具有很高的Q值，因而能实现较低的激光阈值。其小尺寸、高品质因子的优势，使微腔在作为研究局域效应等基本问题的平台的基础上，在光互联、光通信等实际领域也有广阔的应用前景。变形微腔是一种从传统的圆形腔演变而来的新型微腔。由于打破了腔的圆对称性，腔中光线的运动呈现出有序的稳定态和无序的混沌模式共存的特点。研究表明，大变形度的微腔中，混沌模式的光的方向性出射主要是因其沿非稳流形（unstable manifold）发生折射的结果，折射形成了一条有效的泄露通道，但也决定了混沌模式只能有较低的Q值。微腔中具有高Q值的模式是限制在相空间中Stable Islands之内的稳定态，该模式的光受腔的限制作用强，经典理论下仍然难以出射。然而，实验和数值模拟的结果表明，由于波动效应的存在，两种模式的光能够通过动态隧穿效应联系起来，实现高Ｑ模式光的方向性发射。本文主要研究微腔中混沌模式和准周期模式的特点，重点分析了两者之间的联系，即动态隧穿效应。在此基础上，创新性地研究了腔内模式耦合对的该效应的相干抑制作用。完成的主要工作及结果有：１、建立了微腔中光线运动的数学模型，我们将实空间中光的入射角和方位角投影到相空间中，即所谓的庞加莱截面（Poincare surface of section）。从相空间结构以及开放边界条件下的残存几率，可以简单地分析和预测微腔中的波动现象。2、使用基于有限元法（FEM）的商业软件COMSOL Multiphysics求解亥姆霍兹方程，我们理论上得到了特定腔形中的谐振频率、腔内模场分布、模式的Q值以及远场能量分布（FFPs）。实验结果与光线模型结果符合得非常好。3、介绍了变形微腔中的一种量子效应—回避谐振交叉，从腔内光能量出射分布、模式Q值等方面进行了研究。我们发现，相空间中不同区域内的两个模式发生外部耦合时，动态隧穿几率将发生强烈的变化。在谐振交叉点附近，将发生动态隧穿的相干相消现象。由于不同的隧穿机理导致的出射方向不同，因此可以实现腔内光的输出方向的改变。最后我们提出了一种实验上可行的控制方法。