混沌调制技术DCSK（Differential Chaos Shift Keying，差分混沌键控）作为一种集调制与扩频于一身的通信技术，在多径衰落信道下表现出良好的鲁棒性和优异的BEP(Bit Error probability，比特错误概率)性能，实现结构简单。协作分集技术作为一种虚拟的MIMO(Multiple-Input-Multiple-Output)系统，合作伙伴共享彼此的天线，可以使单天线的终端实现空域分集来提高系统性能，能有效的对抗信道衰落，适合低成本，低功耗传输系统，获得了广泛的关注和研究。　　 本文在DCSK调制抗多径性能优越的基础上引入了协作分集的思想，提出了基于DCSK调制的协作系统。该系统利用区域内的用户天线，形成虚拟MIMO以获得空间分集增益，显著地提升了系统中用户的性能。在nakagami多径信道下，首先对三种基本协议下的DCSK协作系统的BEP性能进行了研究，理论分析与仿真表明，DCSK协作系统较直传的DCSK系统相比获得了明显的分集增益，BEP性能得到了良好的改善。其次，考虑到多用户协作系统，在用户间无误译码的情况下给出了三种接入方案的性能，对其中最优的WALSH-DCSK系统在DF协议下的性能做了进一步的理论分析和仿真验证，并且分析了DCSK传统协作和空时协作两种方案下的性能，给出了各自的应用场景。最后，鉴于现在关于混沌调制的工作大多集中在物理层上，结合数据链路层的自动请求重传技术和协作分集技术，本文又提出了DCSK-ARQ和DCSK-CARQ系统，借助扩频因子，重传次数，帧长等参数对系统的FEP与吞吐量影响，完成该系统性能指标的定量与仿真分析，揭示其新颖的传输机理。　　 理论分析和大量的仿真结果表明，加入了协作分集的DCSK系统性能有了显著的改善，并且在跨层设计下呈现出更丰富的系统特性。本文提出的系统由于其优异的抗多径衰落性能，有望成为一种适合无线环境传输的备选方案。