加权分数傅里叶变换(Weighted Fractional Fourier Transform, WFRFT)是傅里叶变换的广义形式，具有很多优异的数学性质。随着相关理论的逐步完善，WFRFT在信号处理领域中的应用也越来越广泛。其中，基于WFRFT的混合载波调制技术就是备受关注的一点。它能够提供包括时/频域在内的各种分数域信号模式，可以将传统的单/多载波体制融合到一个统一的框架之下，从而建立一种真正意义上的混合载波调制系统。本文以基于WFRFT的混合载波调制系统为研究对象，致力于分析它在衰落信道和窄带干扰环境下的系统性能，在与传统载波调制体制的进行对比的同时，探讨了在这两种实际应用背景之下最优变换阶次的选择方案，得到对应的解析结果。本文首先介绍了WFRFT的定义公式和数学性质，重点分析了它与时/频域信号模式的联系。在此基础之上，对混合载波调制系统的基本结构和工作原理进行了介绍，为下文的理论研究做好准备。作为一种宽带无线调制技术，混合载波系统必须要考虑信道的多径衰落问题。文中首先建立系统性能对应的数学模型，然后利用凸分析理论对该模型的凹凸特性进行解析证明。再结合混合载波系统中的各路子信道上的实时信噪比分布规律，便可以得到系统性能的发展趋势。至此，便可以从解析证明和系统仿真两个方面对混合载波调制技术以及传统的单/多载波调制技术在误码率性能上的异同进行分析和比较。其次，窄带干扰抑制也是混合载波系统应该考虑的问题。与传统系统相比，混合载波系统可以通过调节变换阶次，改变残留干扰能量在判决域中的分布，从而可以选择在最优的分数判决域中对信号进行判决，使系统的整体误码率最低。文中对系统的干扰抑制原理进行了详细介绍，并在此基础之上分析了最优变换阶次的判定准则，最后对最优变换阶次的解析表达进行了推导。