随着通信技术不断发展,高阶调制成为解决频谱资源紧张和高速率需求之间矛盾的重要技术。在幅度和相位上联合调制的APSK(Amplitude Phase Shift Keying,APSK)系统具备许多优势,比如较高的调制效率、对频谱的充分利用。APSK星座同心环结构随着星座点的增加,分布逼近正态分布,从而获得更大的信道容量。在卫星信道中,信号传输衰减较大,发射端需要足够的发射功率,在发射端射频器件产生的噪声容易对APSK系统造成较大影响,比如相位噪声。相位噪声是一种乘性噪声,载波的波动误差是产生相位噪声的主要原因。相位噪声造成信号的相位旋转,影响通信系统的性能。此外,相位噪声还会造成频谱泄露,对带外相邻信道产生干扰,从而影响系统总体容量。在APSK系统中研究相位噪声的影响及其优化算法,具有十分重要的意义。为了提升APSK系统性能,可以对发送信号进行星座优化。星座优化就是对星座图中的半径和相位差以及各圆星座点数根据系统性能指标作为考量进行设计,一般遵循最小欧式距离最大化和互信息最大化的原则。在功率受限的条件下使星座点分布更稀疏,可以通过增大星座点间的最小距离,或减小每个星座点与之相邻的星座点个数。为了达到系统容量的最大化,首先应考虑信道的影响。APSK信号点具有类似高斯分布的特点,采用格雷映射可以获得更大的映射增益。除了星座优化,在系统接收端加入均衡器也是提升系统性能的方法。传统的自适应均衡算法有LMS均衡算法。但是基于训练序列的均衡器占用部分带宽,增加系统的开销。在其他通信系统,如训练序列不可用的非协作通信中,均衡器就会失去效果。为了进一步提高系统可靠性,考虑无需训练序列的盲均衡算法。本文首先研究相位噪声对APSK系统的影响,分析多种相位噪声模型,对相位噪声建立仿真模型,并对仿真结果进行分析和讨论。在星座优化部分,基于现有的研究结论以及相位噪声对APSK影响特点,提出一种星座优化构建方法,使优化后的星座图遵循最小化最大欧氏距离的准则,并有效减小相位噪声对系统产生的影响。最后结合基于训练序列的自适应均衡以及盲均衡,在盲均衡处理过程中采用双模式的自适应切换,考虑APSK特点以及相位噪声信道特点,对CMA均衡算法进行改进,进一步提高系统的性能。