超常介质是一种新型的人工合成材料,它具有许多自然材料所不具备的独特的电磁特性。随着超常介质从微波到红外甚至光波段的实现,对电磁学、材料学、光学、电子学、通信等学科产生了重大影响,将极大地拓展这些学科的传统研究领域；同时,可以通过改变超常介质的基本单元及其排列结构等来实现具有特殊属性的电磁媒质,从而可获得一批新型微波、毫米波、太赫兹波、红外和光波器件和系统。本文结合传统的非线性光学基本理论和超常介质的独特性质,研究超常介质中电磁波和光波的若干非线性传输特性,不仅具有重要的科学意义,同时对发展光控光技术和新型的光电子器件有实用价值。取得的主要结果如下:　　 第一,利用传统的非线性光学基本原理,结合超常介质的新特性,建立了电磁波在超常介质中非线性传输的理论模型,发现超常介质特有的色散磁导率导致电磁波在传输中出现新的非线性效应,包括反常自陡效应和高阶非线性色散效应。　　 第二,基于得到的传输模型,利用线性稳定性分析推导出了超常介质中的调制不稳定性的增益谱表达式,并将其应用于Drude模型,研究了超常介质正、负折射区的时间调制不稳定性特性,揭示了赝五阶非线性效应及由色散磁导率导致的自陡峭效应、二阶非线性色散效应对调制不稳定性的影响。特别是,我们理论证明,由于二阶非线性色散效应的作用,调制不稳定性有可能在超常介质的正常色散区,甚至零线性色散情形出现;而在常规介质中,调制不稳定性通常在反常色散情形发生。这一发现不仅为调制不稳定性的产生找到了一个新的条件,同时为超短脉冲串的产生提供了一条新的途径。　　 第三,精确求解超常介质中电磁波的传输方程,得到了超常介质中各种可能情形下的亮、暗孤子解,重点揭示了超常介质特有的色散磁导率所导致的可控自陡效应和二阶非线性色散效应对孤子形成和传输特性的影响,理论证明在非线性超常介质中,由于二阶非线性色散可充当线性群速度色散的角色,使得亮、暗孤子无论在反常色散还是正常色散,甚至零群速度色散情形都能形成,说明超常介质不仅丰富了孤子形成的条件,而且蕴含着大量新的孤子现象。　　 第四,研究了两同向传输光束在非线性超常介质中的交叉相位调制致空间调制不稳定性现象,首次发现,由于超常介质折射率的正负跟光束频率相关,它将决定衍射项的符号,使我们有可能实现类似于光纤中的各种交叉相位调制致时间调制不稳定性的交叉相位调制致空间调制不稳定性。例如,在聚焦非线性超常介质中,当两光束的频率同时处于超常介质的正或负折射区时,空间调制不稳定性类似于两个中心频率不同的脉冲同时在反常或正常色散区传输时的时间调制不稳定性;而当两光束的频率分别处于超常介质的正、负折射区时,空间调制不稳定性类似于光纤中两个脉冲分别在光纤的反常和正常色散区传输时的时间调制不稳定性。在散焦非线性超常介质中,空间调制不稳定性同样能在光纤中找到相类似的时间调制不稳定性。正负折射区调制不稳定性的产生就意味着当两光束在超常介质正负折射区中传输时有可能形成亮暗空间孤子对,而在常规介质中这是很难实现的。本文通过数值模拟进一步验证了调制不稳定性的产生,并证实了光束分别在超常介质正、负折射区传输时能产生亮暗空间孤子对。