无线移动通信即将进入6G时代。当前通用的6GHz以下频谱资源非常紧张,难以支撑下一代通信所要求的高数据传输速率和大系统容量。而具有较大可用带宽的毫米波频段,非常匹配未来无线通信的高速传输需求。如果将毫米波频段与高阶调制解调有效结合,数据传输速率得以进一步提升。但毫米波频段的非理想特性相较于低频段更为严重,尤其是相位噪声的影响。学术界通常考虑运用补偿算法提升通信系统对相位噪声的耐受性,但是补偿算法一般都会降低频谱效率。而对星座图进行优化,在提升系统性能的同时,也能降低导频开销,提升频谱效率。相较于常用的QAM调制,APSK调制有更小的包络起伏和更低的峰均功率比,更适合功率受限的场景。所以本文针对APSK调制研究星座图优化算法。在自由空间传播的毫米波信号会经历明显的路径损耗,而在建立大规模天线阵列的基础上运用波束成形技术可以提升信道增益,进而补偿路径损耗。毫米波大规模MIMO通信系统对于新一代通信网络的大范围商用至关重要。而在多天线场景中相位噪声的影响更为复杂,有必要深入研究对抗相位噪声的措施。本文首先介绍一种基于最小欧氏距离最大化的APSK星座图优化算法,然后结合相位噪声存在时的最优检测方法,提出一种基于似然函数最大化的APSK星座图优化算法。首先分析原有优化算法和本文提出的优化算法在高斯白噪声信道中的误比特性能。然后考虑在不同强度的相位噪声条件下本文所设计的各类APSK星座图对相位噪声的耐受性。仿真结果表明,基于本文提出的优化算法可以设计出在高信噪比下具有较强抗相噪能力的APSK星座图,性能优于QAM。接着,本文在宽带毫米波通信中讨论新型APSK星座图优化算法的性能。首先在宽带SC-FDE系统中比较本文设计的APSK星座图与QAM对相位噪声的耐受性。然后再扩展到宽带大规模相控阵通信系统,考虑宽带相控阵波束倾斜现象引起的频率选择性,分析新型APSK星座图优化算法的误比特性能。