通信技术的发展使人们对信息传输的速度和质量要求越来越高。60GHz毫米波通信系统凭借丰富的连续带宽资源,较强的安全性以及抗干扰性等优势成为研究的热点。相比低频段通信（例如2.4GHz和5GHz等）,高频段通信为人们带来便利的同时,也带来相应的挑战,比如射频器件非线性失真带来的问题。本文主要研究60GHz毫米波通信系统中射频器件非线性失真中的相位噪声问题,并通过研究相噪估计和补偿算法来抑制接收信号的相位噪声。首先,本文介绍了60GHz通信系统中相噪估计和补偿算法的研究背景以及研究意义,并综述了相噪模型以及相噪估计和补偿算法的研究现状。接着,本文简介了60GHz毫米波通信系统的两种系统架构,综述了非线性失真中相位噪声的基本原理,分析了相噪的来源,并研究了两种相噪模型（“单极点/零点”模型和维纳模型）以及相噪对信号、星座图和误比特率的影响。其次,本文阐述了3种传统相噪抑制算法的原理以及其对应的优缺点。基于导频和特殊字段（Unique Word,UW）的平均和内插算法利用导频和特殊字段估计出平均相噪,再内插平均相噪得到用于补偿的估计相噪。此算法简单实用,但帧结构利用率低,只适合缓慢变化的相噪模型。自修正决策反馈算法先利用UW估计相噪,再利用导频估计的相噪门限值得到错误相噪估计值,并利用错误估计相噪的前后相噪估计值的平均值来纠正错误估计相噪。该算法帧结构利用率低,更适合短时突变的相噪模型。基于LMS/ML的相噪估计和补偿算法首先利用UW估计相噪,再利用LMS/ML算法估计和补偿残余相噪。该算法不需要导频,帧结构利用率提高,但其不适合信道长度和保护间隔长度相近的系统。然后,本文根据“单极点/零点”模型的特点以及信道长度和保护间隔长度的相对大小,提出一种基于多数据块和判决反馈的相噪抑制改进算法。该改进算法在均衡后进行相噪估计以避免用于估计相噪的准确样点较少的问题,用多个数据块估计平均相噪来减小加性噪声的影响,并利用基于滑动窗的判决反馈算法进一步抑制残余相噪。为了进一步提升相噪抑制算法的性能,本文又改进了SNR的估计方法。仿真结果表明,该相噪抑制算法优于传统相噪抑制算法,适用两种相噪模型（“单极点/零点”模型和维纳模型）,并且优化的SNR估计方法可以提升相噪抑制算法的性能。最后,针对改进的维纳相噪模型,本文研究了IB-DFE均衡和相噪抑制联合算法。该算法考虑每一个数据块判决的可靠性,用IB-DFE均衡代替MMSE均衡来提高算法性能,并在每次迭代时联合均衡和相噪抑制算法来降低算法复杂度。该算法根据改进维纳相噪模型的特点,在高信噪比时推导出相噪估计的闭合表达式,在低信噪比时,采用基于滑动窗的判决反馈算法估计相噪。为了进一步提升联合算法性能,算法选用改进的SNR估计方法。仿真结果表明,在误比特率性能方面,联合算法优于基于LMS的相噪抑制算法和基于滑动窗的判决反馈算法。