混沌信号的非周期性、对初始值的高度敏感性和宽带频谱等特征使得混沌信号在通信方面具有潜在的应用前景。自从发现混沌系统的自同步现象以来，混沌在通信中的应用激起了国内外学者极大的研究热情。目前已提出多种基于混沌的通信系统和方案，但还没有一种可实用在实际通信环境中。影响混沌通信实用化的主要原因在于：(1)对相干检测而言，信道干扰和系统参数匹配，使得混沌同步难以实现；通信信道的负效应，尤其是无线通信信道的干扰，严重地蜕化了目前已提出的基于混沌的通信系统的性能。(2)对非相干检测而言，两个因素影响系统的实际实现：限幅器的阈值是噪声功率的函数；比特能量的方差也随着噪声功率的增加而增加。如果能分离出混沌信号，也就解决了信道对基于混沌的通信系统的负效应问题，就能实现实际通信条件下的混沌同步，因而能实现相干解调；能正确的分离出混沌信号，也就能够准确地设计出阈值检测器；这对于基于混沌的通信系统的实用化有重要意义。围绕基于混沌信号的分离这一主题，本论文主要研究混沌信号的检测、混沌信号的盲分离以及它们在通信中的应用。受基于逆向迭代的混沌信号分离方法的启发，我们提出并仿真实现了一种基于逆向迭代的非相干检测混沌数字通信方案，并在二进制、四进制以及参数误配条件下对系统的误码性能进行了仿真，仿真结果表明，即使在较低信噪比的情况下，系统的误码性能也较好。同时，在参数误配不大的情况下，该方法依然有效。信号分离是信号处理与通信研究的基础问题。常规的信号处理方法，如滤波，它是利用信号与噪声的频谱差别来分离信号或抑制噪声。由于在大多数情况下，噪声和信号共享一个频段，只是噪声的能量分布在较宽的频带内，信号的能量则集中在较窄的频带内，因此，利用一个能保持信号频谱的滤波器，就能很好地抑制噪声。但是，当信号与噪声的能量分布在同一频带时，例如被噪声污染或被信道畸变的混沌信号，常规的基于频谱的处理方法就不再适用了。最初的混沌信号分离方法一般利用各个混沌信号的内在性质实现分离，故在所有源信号为混沌信号且已知混沌方程的条件下才能实现。有学者提出了利用原始系统方程，通过最优化技术获取有用混沌信号的方法，它虽不要求所有的源信号为混沌信号，但必须以已知某个系统方程为前提。还有学者提出了利用各个信号源之间的相关性通过求解特征向量得到混合矩阵以重构源混沌信号的方法。它可以在未知系统方程和混合方法的情况下分离混沌信号，但也只考虑了无噪声且信号源全部为混沌信号的情况，且它的解混合矩阵需要通过混合矩阵求逆得到，这不仅增加了算法的复杂性，也降低了分离精度。由于混沌信号具有似噪声特性，其自相关性较弱、高阶累计量也未必为零，在未知混沌映射方程和混合方法的条件下，上述的盲分离算法的应用受到了限制。本论文从另一个途径—利用各个混沌源信号之间的互不相关性，依据重构理论，通过求解特征向量直接得到解混合矩阵，从而重构出源混沌信号。它有如下优点：(1)属于盲信号分离范畴，可以在未知混沌映射和混合矩阵的情况下仅根据观测信号实现多个混沌信号的盲分离；(2)可以在噪声(高斯白噪声、均匀分布的噪声和有色噪声)环境下实现多个混沌信号的分离，此时把噪声也作为一个源信号处理；(3)在低信噪比条件下，分离方法仍有效。盲信号分离已成为信号处理领域的热门研究课题之一，其可解性及分离原理等基本问题在一定的程度上得到了解决，并相继提出了一些特定条件下的盲分离算法。传统盲信号分离理论建立在假设源信号相互独立的基础上，同时假定混合信号数目大于或等于源信号数目。对于欠定的情况(混合信号数目少于源信号数目)，通常采用盲提取的方法实现部分信号盲分离。当被提取信号被较强的其他信号或噪声掩盖时，盲提取便难以实现。实际环境中，有些信号具有稀疏特性或者通过一定的变换、分解(傅立叶变换或是小波变换)可使其相应的分解系数呈稀疏性，然后利用信号的稀疏特性解决欠定的盲信号分离问题。对于混沌信号而言，由于它们的自相关函数随相关时间快速衰减、信号频谱呈现宽带性和连续性，并具有弱的互相关性，它们不具有稀疏性的特征，因此常规的用于欠定情况下的盲分离方法难于实现混沌信号的分离，并被视为盲分离问题实现的一个障碍。基于欠定条件下线性混合的混沌信号难以实现盲分离的事实，本论文提出并实现了一种在欠定条件下的盲分离方案；进一步，提出并实现了一种混沌保密通信方案。分析和仿真结果表明，该方法具有保密性好、解密精度高的优点，并在强信道噪声干扰下依然有效。