深空探测具有十分重要的科学和经济意义，只有保证深空通信系统的正常运行才可能使深空探测任务获得成功。然而，深空通信的传输距离极大，导致了接收端信噪比极低以及传输时延的大大增加。同时，深空通信采用高频段，使得电磁波对天气因素异常敏感，进一步降低了接收端信噪比，造成很高的误码率，使得丢包率很大，而且巨大的通信传播时延使得反馈重传的效率很低。综上所述，深空通信独有的传输特性对深空信道建模、长距离传输协议以及调制编码技术提出了新的挑战。针对深空Ka波段的降雨问题以及降雨对传输层文件传输造成的影响，本论文提出了一个Ka波段链路下的传输层信道模型，该模型针对Ka波段对天气的敏感性，并结合了近地空间的降雨衰减特性和地球大气层的等价噪声温度。信道模型基于四个状态的马尔科夫链，考虑了CFDP（CCSDS File DeliveryProtocol）文件传输协议中不同类型数据包的特性，对天气状态进行划分，并给出了天气状态转移矩阵的分析结果。论文以中国的广州地区（典型的亚热带气候）为例，通过使用国际上普遍采用的ITU-R降雨衰减模型求出了降雨衰减的概率分布函数，并且结合降雨的分布函数与天气状态的划分准则求出了状态之间的转移矩阵来描述信道的变化过程。仿真结果表明，与已经建立的两个状态的信道模型相比，建立的四个状态的信道模型能更细致的描述信道的动态变化过程，同时能有效的分析CFDP协议中不同类型的数据包出错的概率，对分析深空传输层协议的性能评估及优化而言有着至关重要作用。深空链路的传输距离远、传播时延大、信噪比极低，造成接收端信号难于捕获，即使在达到同步之后，残余的相偏和频偏也会对接收端的译码系统产生较大影响。本文提出了一种FQPSK调制与LDPC编码的联合设计系统，通过在迭代环路中嵌入补偿算法，利用逐次迭代有效地抵抗残余频偏和相偏对系统造成的影响。设计的基于最大似然估计准则的补偿算法被嵌入到系统的迭代解调中，该补偿方案利用了基于最大后验概率的软输入软输出来恢复原始的码字。特别的，为了减小频偏在译码过程中对码字的影响，通过改变发送码字序列的顺序，提高了信息比特的可靠性，从而减少了译码的迭代次数。仿真结果表明，本文设计的联合编码调制系统的误码率性能能够有效的被改善，在频偏100ppm到700ppm的范围内，误码率可达到10^-3到10^-4。从而，有效解决了深空通信中残余频偏对译码影响较大的问题。