随着用户对业务需求的快速增长,在未来的无线通信系统中,如何在保证系统传输效率的同时提高系统的可靠性是需要解决的重要问题之一。高阶相位调制技术能够提高系统的频谱资源利用率,提高无线链路的信息传输速率,但高阶相位调制导致信号点间欧氏距离减小限制了调制阶数的进一步提高,本文研究了使用星座映射技术增大信号点间的欧氏距离,从而提高系统性能的方法；为了提高系统的可靠性,本文还研究了将编码调制、星座映射技术和协作分集技术相结合使得系统在获得分集增益的同时还可以获得部分编码增益的高阶调制编码协作方法；为了进一步提高系统的可靠性,本文研究了将编码调制、星座映射技术与近年来新兴起的网络编码技术、协作分集技术相结合,在保证系统传输效率的情况下降低系统的中断概率,从而进一步提高高速无线通信系统的性能。本文主要围绕编码调制、星座映射、协作分集及网络编码等相关技术进行了深入研究。本论文对无线通信系统中的编码调制与星座映射相关技术做了一些探讨,论文的主要工作与创新成果如下：(1)为了找到最优的多维星座映射方案和降低寻找多维星座映射算法的复杂度,本文提出了一种简单有效的QPSK调制四维星座映射方法。该方法将影响比特交织编码调制及迭代译码系统(Bit-interleaved Coded Modulation with Iterative Decoding, BICM-ID)误码率变化的星座映射中相差一个比特的映射标识所对应传输符号之间的欧氏距离转换为汉明距离,计算出最优的汉明距离值,并以此为设计和优化四维星座映射的目标,给出了算法的具体实现过程,得到了QPSK调制下所有传输符号所对应的四维最佳星座映射标识。所提方案在BICM-ID系统的高信噪比下与其它四维星座映射方案相比可以获得更好的性能；针对分析混合调制映射方案的外部信息交换图(Extrininsic Information Transfer Chart, EXIT)只能显示某一固定信噪比下系统外部信息之间的交互关系,本文提出了一种基于EXIT图改进的分析方法。与EXIT图分析方法不同,该方法利用了系统外部交互信息与整个信噪比区域变化(Extrinsic Mutual Information-Signal Nosiy Ratio, EMI-SNR)的对应关系。使用EMI-SNR图的分析方法,可以在BICM-ID系统的不同信噪比区域内选择不同的混合调制映射方案,以获取系统整个信噪比区域内性能折中的星座映射方案,并且能粗略地估算出系统误码率曲线在不同信噪比区域内的高低变化。(2)为了进一步提高系统传送数据的可靠性,可以将编码调制与星座映射技术和协作分集技术相结合,研究高阶调制编码协作(Coded Cooperation,CC)方案,在提高频谱利用率的同时使系统可以获得分集增益和部分编码增益。为了有效地利用LDPC码的特性和提高编码协作系统第一时隙传送数据的译码准确率,本文提出了一种采用LDPC码的8PSK调制编码协作方案。该方案考虑基于两用户的编码协作系统,在两次发送信息的时隙中均采用8PSK调制方式。首先对LDPC码的校验矩阵进行随机删余得到码率高于母码的一组编码速率,在第一时隙使用混合自动重传方式(Hybrid Automatic Repeat Request, HARQ)按码率从高到低依次传送数据给协作伙伴和目的基站,对于协作伙伴不能够正确译码的数据进行存储与下一次传送的数据进行联合译码,直到协作伙伴对第一时隙传送的数据能够正确译码为止,第二时隙每个用户传送其协作伙伴的冗余信息到目的基站从而达到发送分集。理论分析和仿真结果验证了所提方案比普通的编码协作方案可以获得更好的分集增益和编码增益；为了增加编码协作系统第二时隙传送的数据量和提高编码协作系统的频谱资源利用率,本文提出了一种高阶调制编码协作方案。该方案考虑完全协作情况下编码协作系统在第一时隙传送数据的过程中使用BPSK调制方式,第二时隙传送数据使用8PSK或者16QAM调制方式为了弥补第二时隙采用高阶调制方式给系统可靠性带来的性能损失,需要使用分集增益来弥补。因此本方案在第二时隙每个用户对译码后的数据进行重新编码后再传送,与普通的编码协作方案不同,该力法在第二时隙不仅传送协作用户数据的冗余信息同时还传送其信息比特本身给目的基站,通过增加编码协作系统第二时隙传送的数据量来提高编码协作系统的分集增益,降低系统的误码率。(3)在已有的编码协作方案研究中,中继节点只传送协作用户的冗余信息,对提高系统的协作分集增益有一定的限制。为了进一步提高编码协作系统的性能,本文提出了一种编码协作网络编码新方法。该方法考虑基于比特交织编码调制系统(Bit-interleaved Coded Modulation, BICM)的两用户编码协作方案,第一时隙传送数据的过程与普通的编码协作方案相同,如果第一时隙传送的数据能够被其协作用户正确译码,第二时隙每个用户将自己冗余信息比特与协作伙伴的冗余信息比特进行网络编码后再传送给目的基站。所提方案在不增加系统带宽的情况下,多携带了一部分自身的信息,增大了编码协作系统的分集增益,同时有效地降低了编码协作系统的中断概率。