当前无线通信过程中，电磁环境越来越恶劣，信道衰落、多径干扰、多用户干扰等均对通信质量产生严重的影响。干扰是一个通信过程中不可回避的问题，如何有效地抵抗干扰也是研究人员的关注点。传统的傅立叶变换信号处理手段，建立了一种信号时域与频域的联系，但仍采用相对独立的时域或频域方式观察信号，具有一定的局限性。为了有效地抑制干扰，研究人员提出了一系列时域与频域联合的信号处理方法，分数傅立叶变换(fractional Fourier transform, FRFT)即为其中一种。分数傅立叶变换是对傅立叶变换特征值分数化的结果，主要包含以Chirp信号作为正交基函数的Chirp类分数傅立叶变换(Chirp-type fractional Fourier transform, CFRFT)和加权分数傅立叶变换(weighted-type fractional Fourier transform, WFRFT)。其中，Chirp类分数傅立叶变换已经在通信系统干扰抑制方面得到了一定的应用，而加权分数傅立叶变换仍多数停留在理论研究阶段，应用处于起步阶段。本文以无线通信中存在的多径干扰、多用户干扰、单频干扰等干扰形式作为着眼点，尝试采用分数傅立叶变换、频域均衡、码序列设计等物理层技术加强系统的抗干扰能力。WFRFT可以看作同时包含单载波(single carrier, SC)、多载波(multi-carrier, MC)的混合载波(hybrid carrier, HC)体制调制过程，其具有时频对称的特点。基于WFRFT的混合载波系统信号能量分布在时频平面上与现有的单载波和多载波系统相比更加均匀。本文将WFRFT与码分多址(codedivision multiple access, CDMA)相结合，提出混合载波CDMA联合传输方法。HC-CDMA传输方法中在某阶分数傅立叶变换域进行序列扩展后采用WFRFT将信号变换到时域传输，传输信号均具有混合载波的特征，同时序列扩展进一步起到了符号能量平均化的作用。在这样的条件下，干扰能量被平均分配到更多的码片上，从而起到对多径干扰及单频干扰的抵抗作用。而信道衰落对扩频序列正交性的破坏将导致多用户干扰，为了抑制这种干扰并兼顾混合载波的特性，提出在时域进行序列扩展的HC-DS-CDMA方法。未来通信系统中，与现有通信技术的兼容与融合是一个重要的需求。所提出方法不仅可以与现有的单载波或多载波方法兼容，而且可以实现无缝转换，通过对HC-CDMA方法中变换参数的选择可以实现与现有的单载波CDMA(SC-CDMA)及多载波CDMA(MC-CDMA)的转换。同时本文对HC-CDMA与其它物理层技术的融合进行了探讨，就HC-CDMA方法与现有的多天线技术及端到端(Device-to-Device, D2D)直接通信的结合方式进行了尝试。在HC-CDMA与多天线结合的方面，在由于多径引起的频率选择性衰落信道下均取得了较好的系统误码性能。而在端到端直通技术方面，HC-CDMA传输方法面对更为实际和复杂的干扰环境仍表现出优异的抗干扰能力。多用户干扰是无线通信中的一种常见干扰，尤其在CDMA系统中，扩频序列的选择对系统性能具有决定性的影响。为了抵抗系统中的多用户干扰，本文提出一种灵活的多电平序列设计方法。从传统的时域入手，针对同步及非同步场景设计多电平序列，进而将上述设计方法引入到基于WFRFT的通信系统中，结合信道条件和均衡技术设计序列，使之更适应实际通信环境。而发送信号的峰均比(peak-to-average power rate, PAPR)直接影响发送设备的功率放大器的效率及寿命，在多载波系统中更是制约其发展的重要因素。作为与多载波系统兼容的混合载波系统尽管其PAPR数值较小，但仍存在进一步降低的可能。本文对HC-CDMA传输方法中的峰均比问题进行了研究，并提出一种采用多电平序列设计降低PAPR的方法。Chirp信号是一种典型宽带信号，是IEEE802.15.4标准推荐采用的载波信号。Chirp信号是Chirp类分数傅立叶变换的基函数，而Chirp类分数傅立叶变换可以理解为信号在时频平面的旋转，在特定阶数的分数傅立叶变换域上Chirp信号表现为能量聚集的特性，可以形成一个冲激。基于上述特性，采用CFRFT抵抗Chirp干扰具有先天优势。本文分析了时域有限的Chirp信号在分数域上幅度谱对称的特性，并基于此提出一种分数域谱置换修正的方法抵抗这种宽带干扰。通过对这种分数域的谱修正方法可以有效地利用信号的相位信息，与简单的分数域窄带滤波相比，受干扰信号的失真更小，干扰抑制效果更好，系统误码性能更优。同时，研究通信系统抵抗Chirp干扰的方法也为现有系统与基于Chirp信号的通信系统的兼容提供了保障。