为了在有限的资源上实现更多的连接,提高系统的频谱效率,非正交多址接入（Non-orthogonal multiple access,NOMA）技术被确定为第五代移动通信系统候选空口技术之一。作为码域的NOMA技术,多载波低密度序列（Multi-carrier low-density signature,MC-LDS）技术和稀疏码多址接入（Sparse code multiple access,SCMA）技术是多载波系统中用来支持过载连接的有效手段。尽管NOMA技术可以提高频谱效率,支持过载连接,但是NOMA技术引入的多用户干扰是一个严重的问题,不可避免地损害了传输可靠性。减轻此问题的一种有效的方法是NOMA的检测和前向纠错（Forward error correction,FEC）解码的联合。作为一种性能优异的FEC技术,低密度奇偶校验（Low-density parity-check,LDPC）码的译码是基于稀疏因子图上的消息传递算法（Message passing algorithm,MPA）,可以和MC-LDS或SCMA在稀疏因子图上的MPA检测方案很好地联合。然而一方面,多用户干扰会降低系统的误码性能,使得现有单独LDPC码的优化结果在MC-LDS系统中距离理论极限仍有很大距离;另一方面,MPA的复杂度随调制阶数指数增长,复杂度依然很高。因此,为了解决这些问题,本文重点研究联合稀疏因子图的优化设计和低复杂度检测译码方案的算法设计两个方面的内容。针对现有MC-LDS系统的误码性能距离理论极限有较大距离的问题,本文利用联合稀疏因子图中信息的充分耦合特性,提出将LDPC码与MC-LDS进行联合分析设计的方法,得到了联合检测译码策略下的理论误比特率,优化设计了联合稀疏因子图的连接结构,所提方案获得了明显的误码率增益,性能逼近理论极限。本文通过对联合稀疏因子图中的检测译码软信息分布的建模,从理论上分析联合检测译码接收机的平均误码性能。利用得到的平均误比特率,本文一方面得到联合检测译码接收机的译码阈值,另一方面建立了度优化问题,利用差分进化的方法得到了联合稀疏因子图的最优度分布。通过研究联合稀疏因子图中三种可能的短循环情况,本文利用改进的渐进边增长方法构建性能良好的联合稀疏因子图。仿真结果表明,在联合检测译码接收策略下优化设计的度分布方案的阈值非常接近理论极限,距离仅有0.2d B左右。针对SCMA系统中MPA的算法复杂度随调制阶数指数增加的问题,本文利用最小相对熵准则,建立了MPA迭代过程的后验概率的近似模型,提出了基于信道状况动态调整的混合期望传播检测算法,理论分析了瑞利衰落信道下的算法平均复杂度的计算表达式,所提的算法取得了复杂度和性能之间的平衡。本文首先分析MPA的复杂度问题,通过将信道质量的时变性引入到检测算法之中,利用最小相对熵准则,建立了MPA算法中的概率信息的近似模型,得到了低复杂度的混合期望传播算法。然后,本文建立了算法复杂度与信道阈值之间的关系,利用信道阈值灵活控制算法复杂度和性能。此外,基于联合稀疏因子图,本文研究了其上的迭代结构和联合结构算法,通过将混合期望传播检测算法与LDPC码译码相结合,可以补偿降低复杂度带来的性能损失。仿真结果表明,在四阶调制且信道阈值取1.2的情况下,提出的混合期望传播算法相比于传统的MPA,复杂度降低了73%,性能损失只有0.5d B左右,远小于期望传播传播算法的1.5d B性能损失。