比特交织编码调制(Bit-interleaved Coded Modulation，BICM)可以有效提高频谱利用率，LDPC(Low-density-parity-check)码具有低延时并行的强纠错性能，LDPC-BICM充分结合两者的优势，可以获得良好的编码增益，是未来宽带移动通信系统中的关键技术之一。但在信道信息未知或多径信道下，如何精确估计信道和消除符号间干扰，并利用迭代结构交换软解调和译码信息，以尽可能低的计算成本获得更佳的迭代性能仍是LDPC-BICM-ID(LDPC-BICM-Iterative decoding)系统需要解决的问题。本文以概率图模型(Probability Graphical Model, PGM)为工具，研究了在不同信道和噪声环境下LDPC-BICM-ID系统的迭代译码问题、联合信道估计与译码问题、联合检测与译码问题，论文的主要工作和创新点可以概括为以下几个方面：1.提出了一种基于概率图模型的低复杂度自适应置信差分LDPC译码算法。通过展开节点的图变换方法降低校验节点消息的计算复杂度。同时，为弥补由复杂度降低而造成的性能损失，一方面自适应地调整校验节点消息的归一化系数，另一方面仅当变量节点的消息值振荡时引入差分映射策略，给出了一种选择性的置信差分规则，该规则有效地加快了收敛速度，减少了实际总迭代次数。仿真结果表明，和对数似然的置信传播算法相比，所提出的译码算法降低了在低信噪比区域的计算复杂度，提高了在高信噪比区域的性能。2.研究LDPC-BICM-ID系统在最优映射下无迭代增益问题，借鉴LDPC图模型中的重加权方法，创建新的迭代结构，提出了均匀重加权迭代译码算法和重加权差分映射的最小和迭代接收算法。不同于传统结构，本文在反馈部分添加调制器和加权值乘法器，在译码器中引入指数型加权先验信息，用联合概率信息取代外信息，使解调器输出的互信息值在迭代中不断增加，获得最优映射下的迭代增益。给出了互信息理论证明，讨论了加权值对性能的影响。不仅运用变分理论给出了定性分析，而且利用外信息转移特性图预测了最优取值。仿真结果表明在高斯和瑞利衰落信道下，上述两种算法均获得迭代增益。3.针对时间选择性平坦衰落信道的信息未知时，LDPC-BICM-ID系统中参数消息传递的信道估计方法稳健性差，已有的非消息传递迭代接收算法复杂度高等问题，建立了系统的概率图模型，提出了一种融合MCMC(Markov chain MonteCarlo，MCMC)粒子滤波的非参数消息传递算法。为提高信道估计精度的同时降低消息更新的复杂度，推导了MCMC最大和(max-sum)消息更新规则，与解调/译码模块的消息更新规则统一为最大和形式。在此基础上，从局部考虑设计了低复杂的粒子集消息调度机制，先后利用粒子集与粒子集众数计算信道估计部分的外信息，给出了选择性更新机制以减少译码与解调之间交换的外信息数量。同时从全局出发设计了稀疏性信息调度机制从而降低复杂度，同时为信道估计提供了更准确的译码外信息，进一步提高了估计性能。仿真结果表明，该联合信道估计与译码算法提高性能的同时有效降低了计算复杂度，而且稳健性强。4.研究IS（Iinter-symbol-interference）信道下LDPC编码的SISO（single-Inputsingle-Output）/MIMO（Multiple-Input Multiple-Output）系统中联合迭代检测与译码问题。首先，依据马尔科夫随机场理论提出了基于边出现概率和基于因子出现概率的重加权算法，提高信道均衡即检测性能。然后，将上述检测算法与LDPC译码算法统一在均匀重加权消息更新方法的框架下，设计了合理的全局和判决式调度机制，提出了基于概率图模型的联合迭代检测与译码算法。仿真结果表明，上述算法提高性能的同时降低了迭代成本。