利用光孤子进行光纤通信，具有传输速率高、中继距离长、建设维护成本低等优点，因此被公认为是最有发展前途的新一代光纤通信系统。本论文主要研究的就是产生光孤子的理想光源——锁模光纤激光器，主要研究了锁模光纤激光器输出光脉冲的特性以及锁模光纤激光器的混沌化两方面问题。首先，深入分析了锁模光纤激光器的工作机理，分别建立起基于可饱和吸收体的被动锁模光纤激光器、基于非线性偏振旋转技术的被动锁模光纤激光器和采用铌酸锂调制器等主动锁模器件的主动锁模光纤激光器的数学模型，并在MATLAB平台上利用分步傅立叶法和分步有限差分法对上述锁模光纤激光器系统进行了仿真。其次，利用短时傅立叶变换、Wigner-Ville分布和连续小波变换实现了对自相似子的啁啾提取，并对比分析了这几种时频分析方法在此应用中的优劣。再次，对被动锁模掺镱光纤激光器输出的光孤子、自相似子和束缚态自相似子对的特性进行了仿真分析。最后，分别针对被动和主动锁模光纤激光器系统，研究了使其进入混沌化状态的方法，并通过计算机仿真进行了印证。论文的理论研究和仿真实验对提高光孤子通信系统的无中继传输距离、可靠性和安全性具有一定的指导意义。