以正交频分复用(Orthognal Frequency Division Multiplexing,OFDM)为代表的多载波无线传输系统具有高速传输、有效对抗信号多径传播带来的符号间干扰、频谱利用率高以及实现简单等优点,在现代移动通信系统中获得了广泛的应用。但是,由于符号间多载波信号频域波形的旁瓣衰减较慢,引起了带外辐射的问题。因而如何有效的对系统进行带外抑制,在频谱泄露、误码率性能和计算复杂度之间取得平衡,是本文的主要研究目标。本论文以时域N-连续正交频分复用(N-continuous OFDM)和广义滤波多载波(Universal Filtered Multi-Carrier,UFMC)两种多载波技术为主要研究对象,对其带外抑制性能和误码率性能进行了分析比较,并提出了相应的优化算法。具体研究包括:第一章回顾了旁瓣抑制算法和滤波多载波技术的发展历程,分析了多载波信号的频谱泄漏问题,总结了多载波信号的旁瓣抑制方法及新型多载波系统的研究现状,最后说明了本文的主要研究内容和结构安排。第二章首先给出了OFDM系统、时域N连续-OFDM和UFMC系统的基本原理和实现过程,并分析了各系统的频谱泄漏问题,通过理论推导和数值仿真从带外抑制性能和传输性能等角度进行了性能分析和比较,指出各系统的优点与不足,以及待进一步研究的方向。在第三章,本文主要研究了在非连续子带情况下时域N连续-OFDM系统的误码率改进算法。首先研究了非连续子带下时域N连续-OFDM系统的平滑噪声对传输性能的影响,推导了时域N连续-OFDM系统的干扰噪声功率分布。针对干扰分布的不平坦性,分别提出了针对噪声分布特性的功率分配算法和自适应调制方法,通过资源分配调整各子载波的信噪比,从而改善滤波干扰对传输性能的影响,并通过数值仿真证明的算法的有效性。在第四章中,本文主要研究了UFMC系统的邻近旁瓣抑制问题。根据UFMC系统的结构特点,提出了三种基于UFMC的预编码结合方案,通过仿真对系统性能进行了分析。随后,本章给出了基于UFMC系统的干扰抵消算法,并综合对比了预编码优化算法与干扰抵消算法在带外抑制和误码率上的表现,并给出了相应的性能分析。在第五章中,对全文研究目的、研究内容和主要贡献进行了归纳总结,展望了未来研究工作的几个主要方向。综上所述,本文的研究成果有望改善基于滤波的下一代通信系统物理层波形的综合性能,减少通信链路间的相互干扰,提高通信系统的频谱利用率。