由于未来的通信场景逐渐复杂化,物联网,机器型学习等通信场景日益增多,因此需要灵活性强,适应性高的物理层波形技术,以满足更小的时延,更高的频谱效率以及更多的接入等需求。在4G中广泛应用的物理层波形技术—正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术实现了较高的频谱利用率和较强的抵抗多径效果,但是由于系统的正交性要求严格、较大的带外频谱泄露、较高的峰均功率比(Peak to Average Power Ratio,PAPR)以及资源配置不灵活等特性,无法满足日益复杂的通信需求。因此,一些非正交性多载波技术得到广泛的研究。本文以广义频分复用技术(Generalized Frequency Division Multiplexing,,GFDM)多载波技术为研究基点,以降低GFDM系统的自干扰和提升其对衰落信道适应能力为目标,在衰落信道下重点研究以下内容。首先对GFDM系统进行建模和性能推导,分析了GFDM系统在带外衰减、PAPR等方面的性能;通过引入噪声加强因子的定义,推导了采用迫零(Zero-forcing,ZF)均衡时,GFDM系统在高斯白噪声(Additive White Gaussian Noise,AWGN)信道下和多径衰落信道下的理论误码率的数学表达式。其次针对非正交载波引入的自干扰的问题,进行自干扰消除算法的研究。分析了GFDM系统中的自干扰的形成和分布情况,讨论了GFDM系统的结构,滤波器的种类以及滤波器参数对系统自干扰形成的影响;研究了传统GFDM系统的自干扰消除算法,包括系统接收方式的改变和预编码自干扰消除算法;进而针对GFDM系统子载波间自干扰的问题,提出了基于信道建模的双边带自干扰消除算法。最后为了进一步提升GFDM系统在衰落信道下的性能,研究了基于分数阶傅里叶变换(Fractional Fourier Transform,FrFT)的FrFT-GFDM系统,通过改变GFDM系统中调制方式、解调方式和接收端的信号处理方式,对FrFT-GFDM系统进行建模和理论推导;将噪声加强因子的思想引入FrFT-GFDM系统,推导了ZF均衡和匹配滤波器(Matched Filter,MF)均衡时,FrFT-GFDM系统在AWGN信道下误码率,并把结论推广到多径衰落信道下,仿真验证了理论表达式的准确性;最后在存在多普勒的信道下,通过灵活的FrFT变换阶次,使FrFT-GFDM系统取得了优于常规GFDM系统的误码率性能。