深空通信是人类探索宇宙空间、利用空间资源的重要保证。深空通信具有通信距离远、信号功率受限且衰减严重、信道环境恶劣等特点，通过技术演进完善传输体制是改进深空通信系统传输性能、提高通信可靠性的最直接有效的途径。在日臻完善的深空通信技术体系里，信道编译码技术、调制解调技术、同步技术占有举足轻重的关键地位，也处于亟待改进的发展阶段。本文对性能优异的LDPC码进行了深入研究，并结合带宽利用率、功率利用率都较高且受系统非线性影响较小的偏移四相相移键控调制，建立含有迭代译码的比特交织编码调制系统模型，设计解调译码迭代接收机制。在低信噪比条件下，传统的同步方法无法实现精确的载波同步，本文利用码辅助载波同步的思想，使用译码器输出的译码软信息辅助同步参数的估计，构建同步、解调、译码联合迭代的深空通信接收机模型。首先，紧密跟踪深空通信的发展趋势，对国内外学者在深空通信系统的编译码技术和同步技术方面取得的研究成果进行了总结，并对存在的问题进行了归纳。其次，分析说明传统同步方法的优缺点，概述最大似然估计的原理，对两种基于最大似然估计的码辅助载波同步算法进行了理论推导和分析。再次，在分析深空通信特性的基础上，利用LDPC码和OQPSK调制建立含有迭代译码的比特交织编码调制系统模型，并对影响系统性能的因素包括码长、码率、构造方式、迭代次数等参数进行仿真，对仿真结果进行了定量分析，确定最优的参数组合方案。最后，基于含有迭代译码的比特交织编码调制系统模型，分析载波同步对系统性能的影响，利用码辅助同步算法获得低信噪比条件下的载波同步，并对不同系统参数下载波同步的均方误差和误比特率性能进行仿真分析，验证本文方法的有效性。理论分析和仿真结果表明：本文设计的深空通信迭代接收机模型能够改善深空通信的通信质量，提高系统可靠性。