腔QED（腔量子电动力学）,作为当今研究光与物质相互作用的重要课题,在过去十年中取得了显著的成就。人们发现其在量子信息处理、光子器件、精密测量等方面都表现出了其特有的应用优势。本文中,基于运用腔QED的基础知识,我们主要研究了微波光腔混合系统中非线性光学的特性。在腔磁振子混合系统中的非线性相互作用的研究中,发现磁振子克尔效应会诱导光学高阶边带的产生。此外,我们还研究了微腔-金属纳米粒子杂化系统中光学正交压缩。主要研究的具体内容分为以下三个部分:1)我们在由单个小型钇铁石榴石（YIG）晶体球和三维（3D）矩形铜腔组成的腔磁振子混合系统中研究了磁振子克尔非线性可以增强光学二阶边带的产生。除了线性近似之外,我们通过采用微扰技术求解非线性Heisenberg-Langevin方程以获得解析解。使用实验可实现的参数设置,我们证明即使腔光子和磁振子之间的耦合很弱,也可以通过增加磁振子克尔非线性来显着增强二阶边带的生成。有趣的是,当腔光子-磁振子耦合处于强耦合状态时,可以观察到双色二阶边带的产生,这是由腔光子和磁振子模式混合引起的磁极化子引起的。目前的结果说明了利用磁振子克尔非线性增强光学高阶边带和控制光学频率梳,并且具有指导实验实现设计的潜力。2)我们提出了一种在腔磁力混合系统中可实施的高阶边带增强方案。这是通过利用成熟的腔磁振子混合系统环境来实现的,该系统是由弱探测场和强控制场驱动的三维铜腔和连接到石英纤维的钇铁石榴石（YIG）晶体球组成的。在实验参数的基础上,利用微扰法推导出了确定高阶边带非线性系数的解析公式。我们证明了腔光磁力混合系统中磁振子克尔非线性效应对高阶边带产生效率的巨大增益。有趣的是,我们还发现腔光子-磁振子耦合强度系数和探测场与控制场频率失谐可以调控高阶边带产生效率。3)我们提出了一种在微腔-金属纳米杂化系统中产生光学正交压缩谱的方案。该方案中,在一个内置二阶非线性微腔中耦合单个金属纳米粒子（MNP）,微腔由强控制场直接驱动。我们的研究在微腔-金属纳米杂化系统中实现了光学腔场的强正交压缩,即使微腔品质因子较低。通过详细的数值计算,我们还发现了二阶非线性强度、控制场与微波腔场的频率失谐量可以调制光学腔场的正交压缩强度。综上所述,本论文的研究有利于加深人们对量子光学、非线性光学和腔量子电动力学等学科的认识和理解。此外,这些研究对光学频率梳、精密测量等领域的应用与发展具有一定的参考价值。