随着遥感卫星业务日益增多,空间分辨率不断提高,全天候要求也在提升,传输信息量越大,对现有的卫星数据传输提出了很大的挑战。目前,国际电联规定的X频段对地带宽只有375MHz,Ka频段对地带宽达到1.5GHz,难以满足未来高分辨率遥感卫星的海量数据传输需求。在星上带宽受限的情况下,亟需研究高频谱效率的调制方式来提升我国的卫星对地数传能力。针对未来卫星高速数传和航天器舱内通信的迫切应用需求,本文对非连续相位EBPSK调制和连续相位的3值甚小幅相VMAP调制信号的功率谱特性进行了深入研究,具体工作如下。1)介绍了相位非连续的EBPSK调制方式,以及CP-EBPSK、随机极性CP-EBPSK调制、随机极性MCP-EBPSK、随机极性甚小幅相调制等四种连续相位调制方式,仿真分析了各种调制方式的功率谱特性;2)对比了 EBPSK和BPSK的频谱效率、解调性能。针对EBPSK调制应用于卫星高速通信的需求,仿真分析出发送端成形滤波器的通带带宽和旁瓣衰减对解调性能均有较大影响。讨论了 EBPSK的抗干扰特性;3)阐述了多元位置3值VMAP调制,给出了其调制器框图,推导了其理论功率谱的表达式,仿真分析了各调制参数对其功率谱特性的影响;介绍了数字冲击滤波器的“陷波-选频”特性,设计了基于BP神经网络和支持向量机的多分类器解调方法,仿真对比了不同解调方法的解调性能,得出支持向量机的多分类解调器解调性能最好;4)针对多元位置3值VMAP调制应用于卫星舱内有线传输的需求,引入了 LDPC信道编译码,仿真分析了 LDPC编码的多元位置3值VMAP在HFC上行信道的传输性能。通过仿真可以看出构造规则LDPC码可以使传输性能得到提升,采用硬判决译码可获得约4dB的编码增益。