高速移动环境下，信道存在频率选择性衰落和时间选择性衰落，常用的多载波调制系统正交频分复用（Orthogonal Frequency Division Multiplexing，OFDM）在此信道下系统性能严重下降。因此需要考虑更全面的多载波技术，滤波器组多载波 （Filter Bank Multi-Carrier,FBMC）技术具有频谱效率高、旁瓣小、抗选择性衰落能力强等优势，是5G无线通信系统候选技术之一。目前针对高速移动环境下的FBMC系统的研究还比较少，要想进一步提高FBMC系统性能，就必须要考虑与其它一些对抗选择性衰落的方法相结合。因此本文研究了对抗双选性衰落的混沌交织算法、四项加权傅里叶变换和载波索引调制技术在FBMC系统中的应用。　　主要的工作和贡献如下：　　1、研究了FBMC系统的基本结构和原型滤波器设计使用的方法。并且分析了FBMC系统的多相网络滤波器（Poly-Phase Network,PPN）实现过程。FBMC结合偏移正交幅度调制技术，不同原型滤波器在加性高斯白噪声、多径信道衰落、时间选择性衰落和频率选择性衰落信道下系统性能分析。　　2、为了FBMC系统能更好的抵抗双选信道带来的长突发差错，提出一种基于贝克映射的混沌交织算法。此算法根据密钥进行数据分块和重新排列，此算法可以将长突发差错变为单突发差错，结合卷积编码能有效的纠正双选信道产生的长突发差错。仿真结果表明，在移动速度为200km/h，误码率为10-4时，所提混沌交织算法误比特率性能优于传统的块交织算法5dB。　　3、针对传统多载波调制缺点，提出了一种基于四阶加权分数傅里叶变换（4-Weighted Fractional Fourier Transform,4-WFRFT ）的混合载波FBMC调制方法。首先研究了4-WFRFT的定义和加权系数与加权函数之间的关系，在分析了4-WFRFT的性质之后，定义离散序列的4-WFRFT，使其适用于FBMC系统。最后在双选信道下通过调整合适的调制阶数?，获取最佳性能。仿真结果表明基于4-WFRFT的混合载波调制包含了单载波调制和多载波调制的特性，可根据实际情况调整信号在分数域的位置，在高速移动环境下有较好的性能。　　4、研究了一种新型的调制技术载波索引调制（Subcarrier Index Modulation,SIM），提出了一种基于四项加权分数傅里叶变换的载波索引调制（ 4-WFRFT based Subcarrier Index Modulation,4-WFRFT-SIM）新方案。4-WFRFT-SIM系统在发送端信号选取索引位置，把调制的信号放到选取的位置上。接收端检测信号进行能量判断得到索引位置，并且使用对应的解调技术恢复信号。仿真表明， 4-WFRFT-IM系统的新方案可用于FBMC系统，在高速移动环境下有较好的性能。