(1)随着5G新空口信号处理技术和超大规模MIMO（Multiple Input Multiple Output,MIMO）密集组网用户技术的广泛运用,当前通信系统中信道传输容量及信号调制技术方案不易匹配超高密集组网应用场景。本文在大规模多输入多输出（MIMO）通信系统背景下,对基于卡尔曼滤波算法下的滤波器组多载波技术FBMC调制技术方案进行研究。因FBMC调制技术方案在超大规模MIMO密集组网和多径随机信道传输中具备较好抵抗多径失真的能力。能很好的解决系统频谱资源稀缺和降低通信传输时延的问题,增强通信系统及通信链路的可靠性和有效性。其比传统的OFDM方案更有应用前景。（2）首先,我对通信系统中传统的多载波调制技术OFDM进行探究,对其基带处理模块进行原理架构分析。得出虽然OFDM的传输速率和信道抗衰落性能、传输系统抗码间干扰能力都还较好,但其最大的缺点是其载波循环前缀的使用,对通信系统频谱效率有着较大影响,以至于在匹配超高密集多输入多输出组网应用场景时显得力不从心。未来的空口信号处理技术方案将着力解决在高速率,高密集度、多连接、高可靠,多维度（Multi-Dimension,MD）、多输入多输出MIMO用户传输等全息交互VR应用场景下与通信系统容量和信号调制处理的匹配问题。（3）其次,对经典的FBMC调制技术方案的结构原理进行验证分析,并通过原型滤波器组的设计来对FBMC调制方案进行优化及可行性分析研究,并对其设计方案和OFDM调制进行比较。FBMC因其较好的保持了OFDM/OFDMA的主要优点,如利用子载波正交性消除区间串扰,有效的提高频谱效率。同时,在现今大规模集成电路技术成熟的背景下,其数字基带处理中快速傅里叶变换（FFT）和快速傅里叶逆变换（IFFT）块处理易于实现,且通信信道中自适应耦合与规模天线阵列硬件模块易于集成。其具备比OFDM更有吸引力的信息处理能力,但也存在一些显而易见的缺点,如其基带快处理实现复杂度的升高,中继信道传输性能受中继选择方案的影响等。（4）最后,在FBMC调制技术方案基础上引入卡尔曼滤波器算法和滤波结构,其旨在降低其传输信道中基带模块实现复杂度和中继信道传输性能匹配的问题。因卡尔曼滤波算法对随机信号和确知信号、高斯和非高斯、平稳和非平稳、低维和多维、线性和非线性信号都有极佳的处理效果。且能动态的描述系统的状态空间,具备快速跟踪和适时处理信道状态的能力。基于此,我探究了基于卡尔曼滤波下的FBMC载波调制技术方案。并对其相应滤波器实现方案进行系统复杂度和性能可行性研究,用MATLAB2018a平台对随机中继传输模型进行仿真验证分析。并对通信系统中信道最优中继传输方案的复杂度和频谱效率进行性能仿真分析,最终探究获得较为理想的中继选择方案和性能参数。