近几年来超大容量、超长距离密集波分复用技术发展十分迅猛,目前单个波长传输速率已达40Gb／s或者100Gb／s,单根光纤容量已超过3.2Tb／s。在如此高速率的光传输中,必然招致巨大的传输损伤,这些传输损伤主要有三类,有光放大器的放大自发辐射噪声、色散包括群速度色散和偏振模色散,非线性效应包括自相位调制、交叉相位调制、受激拉曼散射、受激布里渊散射和四波混频等。为了进行高速光纤通信必须克服这些传输损伤。本论文基于全光时域傅立叶变换(OIFT/OFT:(Inverse)Optical Fourier Transformation)和分数阶傅立叶变换(FRFT:Fractional Fourier Transformation)的方法研究了高速光纤通信中色散补偿和噪声抑制的新方法和原理。本论文首先通过研究光脉冲传输的薛定厄方程,并结合光波的时间-空间二元性的映射理论,设计出了全光时域傅立叶变换器件——时间透镜(time lens),并基于时间透镜提出一种新型的应用于单波长传输速率100Gb／s以上的高速光纤频域传输技术和系统——光频域传输方法(OFTS:Optical Frequency Domain Transmission).利用光脉冲在线性光纤中传输时,其频谱包络不变的原理,通过在光纤通信系统的发射端和接收端各加入一个全光傅立叶正、反变换器件来实现无偏振模PMD补偿无色散斜率补偿的100Gb／s以上速率的低成本长途光传输。可用于目前10Gb／s光纤传输系统的直接升级。论文完成了OFTS传输技术的模型并仿真和通过实验来验证系统的性能。最终实现了20Gb／s传输200公里无任何色散补偿,误码率达到10-9。本论文还基于时间透镜和分数阶傅立叶变换的原理设计出一种带内噪声的滤波系统和装置,通过采用将信号和噪声通过分数阶傅立叶变换分别变换到不同的域,然后,在接收端进行信号和噪声的分离,通过仿真分析了系统的性能,结果表明,该系统可以提高信噪比6dB。