混沌通信利用对参数敏感的混沌系统产生宽频、类噪声的混沌信号，并将其作为载波对信息加密，这种以设备参数作为密钥的物理层加密模式使得破解非常困难。长期以来，诸多学者通过电子电路模型对混沌现象和混沌通信进行深入研究，并取得了丰硕的成果。然而，带宽有限以及衰减较高的缺点严重限制了电路混沌系统在远程高速保密通信中的应用。激光混沌通信系统利用半导体激光器可以产生数GHz带宽的混沌激光，利用光纤可以大大降低传输链路损耗。激光混沌通信系统具有混沌保密通信和光纤通信的共同优势，它很好地解决了电路混沌通信的难题，由此成为当前学术界的研究热点。外部光注入和外部光反馈是最常用的使半导体激光器产生混沌光的方法。在这两种方法中，由于后者产生的混沌激光的维度更高，因而更适合混沌保密通信。与国外研究相比，国内研究多基于外部光注入方式，因此需要深入研究外部光反馈半导体激光器及其通信系统。外部光反馈激光混沌通信系统具有闭环和开环两种典型配置，其中闭环系统和弱注入条件下的开环系统都对收发参数匹配要求很高，而强注入条件下的开环系统对参数匹配要求较低。由于在实际中强注入开环激光混沌通信系统容易实现，因而本论文选择该系统作为研究对象。本文的主要工作和成果包括五个方面：(1)深入研究了外部光反馈半导体激光器动态特性。依据外光反馈半导体激光器的速率方程，采用小信号分析法推导出激光器的一次扰动方程，从理论上分析了外光反馈半导体激光器的动态特性；通过求解激光器谐振条件，证明了外部光反馈半导体激光器的振荡频率与其阈值频率非常接近，从而使激光器速率方程得到简化；依据简化的方程，并采用该领域很少使用的先进的SIMULINK组件，构建了外光反馈半导体激光器的仿真模型，数值分析激光器的非线性行为对其参数的依赖性。(2)研究了强注入开环条件下的背对背结构激光混沌通信系统中的解调方法。目前大多激光混沌通信的理论和实验研究是基于闭环系统或弱注入条件下的开环系统，而强注入条件下的开环系统中的同步与前面两类系统不同。常用的传统相减解调法因没有真实反映强注入开环系统的同步性能，因而不适于该系统中的信息解调。本文根据强注入开环系统中形成的注入锁相同步，提出了系统增益的估计方法以及利用系统增益的校正相减解调法。证明了系统增益的大小只取决于注入强度，与信息的加密方法无关；也证明了校正相减解调法明显优于传统相减解调法，它更适合应用于强注入开环激光混沌通信系统，可以更好地恢复信息。(3)分析了强注入开环激光混沌通信系统的参数失配性能，研究了系统的保密性。证明了在适当的光子寿命和载流子寿命失配条件下可以获得最大解调Q因子，并且最佳失配为负值。光子寿命失配固定时，增大注入系数虽不利于授权接收但可更好地抑制窃听；而载流子寿命失配固定时，增大注入系数对授权接收和抑制窃听都不利。也证明了加密方法对系统参数失配性能有影响，与CSK方法相比，CM方法对参数匹配要求较高，系统保密性更强。(4)研究了基于色散补偿光纤传输的单信道激光混沌通信系统。目前仅有很少关于光纤激光混沌通信的研究报导，并且在这些研究中存在一些问题。首先是仅给出特定光纤信道时的解调信息，较少分析信道对通信性能的影响；其次是，很少采用色散补偿方案，同时，在二阶色散接近零时忽略三阶色散；然后是，常忽略在光纤信道中掺铒光放大器(EDFA)引致的自发辐射噪声(ASE)；最后是，对光纤激光混沌通信系统研究的某些结论与背对背结构系统研究结果相背离。基于这些问题，在本论文中对光纤信道进行色散补偿，同时考虑了光纤的三阶色散及EDFA引入的ASE，由此构建了考虑最为全面且符合实际应用的光纤激光混沌通信系统。研究了色散补偿光纤信道中两类光纤传输段的长度配置对通信的影响，证实了光纤链路必须预留少许负的二阶色散以抵消光纤非线性带来的正啁啾，实现远程通信；两种对称色散补偿结构的性能总是一致，对称补偿结构优于非对称补偿结构，是适用于远程高速通信的最优色散补偿方式。也证明了CM方法比CSK方法更适合于高速通信应用，该结论与背对背系统的研究结果一致。(5)在前面研究的单信道通信系统的基础上，构建了双信道激光混沌通信系统，分析了两信道之间的干扰问题。它是首次关于两个光纤激光混沌通信信道的波分复用的研究。证明了必须将单信道通信系统的最佳注入功率略微降低才能适合于双信道通信系统，使其获得最佳的解调性能。也证实了两信道的解调性能与加密方法和信息速率有一定联系，通常两信道不能同时获得最佳的解调性能。同时，为了改善高速通信的性能，要避免两信道同时采用CM加密方法。