广义频分复用(GFDM)技术是为了应对第5代移动通信的高标准而提出的新型多载波传输技术。GFDM系统使用了非矩形脉冲成形技术,具有带外辐射低、频谱效率高、灵活性好等优点。但其特殊的系统结构也导致了它的子载波之间不严格正交,使得其拥有系统自干扰,系统可靠性降低。因此,本文主要针对GFDM系统的干扰处理技术进行深入研究,设计一种预编码方法来解决这一问题。本文主要的研究工作如下:1.对GFDM系统的原理和特性做了全面深入的研究和分析,并搭建了系统模型,对其主要性能进行了仿真分析。2.本文提出了一种基于相关旋转的GFDM系统的预编码方法,该方法无需将干扰完全消除,而是通过将干扰进行相位旋转的方式,把干扰转换为信号的增益因子来加以利用。接下来,又提出了基于误符号率优化的功率分配方法,辅助解决频率选择性衰落所引发的整体可靠性性能较差的问题。通过理论分析和仿真验证表明,这两种方法配合使用,可以有效地消除干扰带来的影响,并且可以利用干扰来提升系统的可靠性。3.针对GFDM相关旋转预编码方法复杂度过高的问题,本文对系统的等效信道特征进行了深入分析,发现了其内部存在的稀疏特性,从而建立了GFDM系统的等效频域信道模型。基于此模型,设计了低复杂度的GFDM相关旋转预编码方法。该方法利用了稀疏矩阵相乘、分块周期三对角矩阵快速求逆算法来降低预编码的计算复杂度。通过理论复杂度分析和误符号率性能仿真,可以验证,该方法可以有效降低相关旋转预编码的计算复杂度,并且可以进一步提升系统的可靠性。4.在对MIMO-GFDM系统模型进行了深入分析的基础上,针对系统中同时存在天线间干扰、多径信道衰落、系统自干扰的问题,利用GFDM系统的等效频域信道模型,提出了MIMO-GFDM系统的信道均衡和相关旋转预编码与功率分配方法,来消除系统中的各种干扰。通过理论分析和仿真验证表明,该方法可以有效地消除系统干扰,获得优良的可靠性,实现GFDM系统与MIMO系统的有效结合。