混沌是一种普遍存在于非线性系统的具有确定性和类随机特性的动力学行为。也由于混沌信号具有非周期性、对初始值的高度敏感性和宽带频谱等特征,它在通信领域有潜在的应用。在混沌通信中,很多问题可以用自适应滤波技术解决。卡尔曼滤波器(KF)或扩展卡尔曼滤波器(EKF)是在线性或非线性高斯条件下的最优动态滤波器,它们在混沌通信中已有了一些应用。它们与无先导变换结合可以获得精度较高、计算方便的非线性滤波器——无先导卡尔曼滤波器(UKF),更能很好地应用于混沌通信中。本论文紧紧围绕混沌通信这一主题,以卡尔曼滤波器理论为基础,重点研究卡尔曼滤波及无先导卡尔曼滤波算法在混沌键控、混沌参数估计、盲信道均衡、混沌信号盲分离等关键问题中的应用。主要内容涉及:1、对混沌同步及混沌通信相关知识进行了概述,其中重点说明了几种非相干参数估计算法、相干混沌移位键控(CSK)和差分混沌移位键控(DCSK)的原理,分析了它们的优缺点。针对DCSK通信系统抗多径衰落的能力有限的问题,提出并仿真实现了一种多径衰落信道下DCSK通信系统的分集接收方案。2、阐述了KF算法的基本思想、具体框架,并把基于KF算法的盲多用户检测技术应用到混沌扩频通信中,通过与LMS算法的比较,显示出KF算法的优点。对于非线性滤波, EKF和UKF算法均是常用的滤波器,从它们的工作原理和仿真分析可知,UKF的性能要优于EKF。在此基础上,介绍了基于UKF的自适应解调方法,并通过仿真说明UKF能有效地估计混沌参数。针对CSK通信系统,提出了一种先用UKF算法估计参考信号,再用该信号解调发送符号的非相干检测方法,仿真结果表明其误码性能甚至优于FM-DCSK通信系统的误码性能。3、分析了现有盲信道均衡的原理,对比了基于EKF和UKF的盲均衡算法的性能。在此基础上,针对目前较少研究的多输入多输出(MIMO)混沌通信系统,提出了一种基于双无先导卡尔曼滤波(DUKF)的盲均衡算法。该算法为混沌信号和信道系数分别建立一个状态空间模型,然后利用两个UKF同时对混沌信号和信道系数进行估计,有效地消除信道噪声、多径衰落、多用户干扰对多用户混沌通信系统的影响。4、在混沌信号盲分离及其在混沌通信中的应用研究方面:1)仿真分析了FastICA算法在混沌信号分离中的性能。根据非线性主分量分析(NPCA)准则和已提出的LMS和RLS型的自适应算法,提出一种基于KF的盲源分离算法,它能实时分离信号;2)在假设被提取的混沌信号映射已知的前提下,提出一种基于UKF的卷积混沌信号的盲提取算法,该算法把提取问题转为非线性状态检测问题,然后利用UKF算法寻找提取向量,解决了信号顺序不确定性和幅度不确定性问题;3)结合基于UKF的盲提取算法和基于UKF的自适应解调方法,在对MIMO混沌通信系统构造两个独立的状态空间方程(提取向量的状态空间方程和混沌信号及其参数组成的扩展向量的状态空间方程)的基础上,利用DUKF实现了基于盲分离的MIMO混沌通信。