低密度奇偶校验-比特交织编码调制（LDPC-BICM）系统是渐进逼近香农限的LDPC码与BICM系统的有效融合,具有可实现编码与调制联合设计、优化译码性能等优点,已受到学术界和工业界的广泛关注,并成为DVB-S、DTMB等系统的标准数据传输方案。进一步挖掘LDPC-BICM系统的综合性能具有重要理论与应用价值。本论文在以下四个方向上展开研究并取得了创新性的成果:LDPC-BICM中结合星座特征的比特交织器与LDPC码设计;LDPC-BICM的联合解调与译码;双向中继信道上采用M-PSK的LDPC-BICM（LDPC-BICM-MPSK）优化设计;两用户接入信道上具有高能量效率的LDPC-BICM设计。（1）高阶调制LDPC-BICM系统的比特交织与编码高阶调制LDPC-BICM系统具有的不均等差错保护特性使得比特交织器和LDPC码的设计面临更深层次的挑战。针对比特交织器的设计,本论文提出系统因子图的概念,将比特交织器建模为系统因子图的边,从而设计了一种新型的渐进边增长算法来构造比特交织器。对于码率为0.5、采用格雷映射256-QAM的LDPC-BICM系统,本文设计的比特交织器与文献^[72]设计的比特交织器和连续映射比特交织器^[73]相比,在相同误比特率（BER）10^-5时使系统分别获得0.38 dB和0.52 dB的信噪比增益。针对LDPC码的设计,本论文利用多边LDPC码的原理提出了变量节点译码器和校验节点译码器的多边外信息转移（EXIT）函数,并进一步改进渐进边增长算法来构造结合星座特征的LDPC码。对于码率为0.5、采用格雷映射16-QAM的LDPC-BICM系统,本文设计的LDPC码与文献^[65]和文献^[84]设计的LDPC码相比,可以在BER为10^-5时使系统分别获得0.16dB和0.1dB的信噪比增益。（2）LDPC-BICM系统的联合解调译码传统LDPC-BICM系统在译码过程中忽略了符号内比特间的关联关系,为此,本论文给出了一种LDPC-BICM系统的因子图表示,并在此基础上设计出性能更优的联合解调译码算法。本论文还探讨了采用联合解调译码的LDPC-BICM系统的不均等差错保护特性,改进了传统的EXIT函数的结构,并相对应地设计了比特交织器。与采用32-QAM、独立译码的LDPC-BICM系统进行对比,本文设计的联合解调译码LDPC-BICM系统可以在BER同为10^-5时取得0.65dB的信噪比增益。（3）双向中继信道上采用PSK调制的LDPC-BICM系统本论文在研究LDPC-BICM-MPSK系统星座图的性质的同时,改进了差分进化算法并优化出固定信噪比下使LDPC-BICM-MPSK系统具有最高信道容量的符号映射。利用这一结果,本论文首次探讨了双向中继信道上LDPC-BICM-MPSK系统的不均等差错保护特性,并相应地设计了新型比特交织器。对于码率为0.5、采用格雷映射256-PSK的LDPC-BICM系统,采用本文设计的比特交织器可以在BER为10^-5时使系统进一步取得0.625dB的信噪比增益。（4）两用户接入信道上的LDPC-BICM系统针对LDPC-BICM在两用户接入信道上的应用,本论文提出了两种系统架构:基于功率分配的LDPC-BICM系统和基于二元物理层网络编码的LDPC-BICM系统。前者以信道互信息最大为目标优化了用户信号间的能量比值,从而提高了系统的译码性能。后者引入了物理层网络编码,并在数据译码过程中利用置信传播译码算法来替代联合译码算法,降低了计算复杂度并提高了系统的吞吐率。与文献^[116]设计的码率为0.6、码长为20000的LDPC-BICM系统进行对比,本文设计的两种LDPC-BICM系统可以在同码率同码长同BER10^-5下分别获得1.9dB和2.05d B的信噪比增益。