数字滤波器是数字信号处理系统的核心,其设计与实现方法一直是信号处理学科的重要研究领域。相比与线性相位FIR滤波器(LPFF),非线性相位FIR滤波器(NLPFF)可以获得更宽广的性能交换空间,实现更优的幅度性能和更低的群延迟,同时其优化设计方法也更复杂,仍然有较多的改善提升空间。因此,本文以非线性相位FIR滤波器为研究对象,对其进行优化设计和应用研究。首先,为了实现NLPFF的性能优化,本文提出了一种基于动态步长的梯度方法,该方法为无约束优化方法;同时,在约束优化设计方面,采用新的约束方式来改进现有的约束优化模型。针对Minimax设计中的问题,也就是Cremez算法可能无法实现等波纹以及迭代加权最小二乘算法计算复杂度高,本文采用梯度方法来解决,其步长设定不再为定值而是动态变化的。该动态步长通过迭代估计最优代价函数来实现,所用估计策略有两种,且都可以辅助动态步长梯度方法实现NLPFF的近似等波纹设计。同时,通过对代价函数的扩展,可实现NLPFF不同性能的折衷优化,包括复误差(CFRE)和阻带误差能量、复误差和群延迟误差(GRE)。针对现有约束优化模型中的可行域问题和约束优化规模问题,采用新的约束方式,包括系数对称约束和改进的幅度约束。在约束最小最大(CMM)和约束最小二乘(CLS)设计中分别采用个体对称约束和总体对称约束,两者的作用近似优化问题中的相位约束。结合改进幅度约束,所得约束优化方法不仅可以避免复误差中的幅度和相位性能限制关系,同时也可以有效地减小约束规模。在NLPFF的仿真设计中,相比于已有的约束方式,所提方法可以实现相对更广的性能交换,也提升了二阶锥规划(SOCP)的求解效率。其次,为了在实现窄过渡带NLPFF约束优化设计的同时,有效降低滤波器实现复杂度,提出了采用互补优化设计的有限脉冲响应内插(IFIR)和频率响应屏蔽(FRM)实现方法。因为非线性相位的出现,NLPFF的实现复杂度远高于LPFF,且无法直接应用LPFF中的IFIR和FRM实现方法。为了解决该问题,NLPFF的IFIR和FRM将采用子滤波器间的互补优化设计方法。对于IFIR设计,在频响性能分析的基础上,采用两种子滤波器设计思路:子滤波器全为NLPFF以及子滤波器分别为LPFF和NLPFF。所用优化设计方法为:先频罩滤波器设计后模型滤波器优化的互补方式。在NLPFF的FRM设计中,采用同IFIR思路一的子滤波器设计方法,但由于模型滤波器和互补滤波器间的相加关系,性能分配变得困难,因此无法采用性能分配下的设计方法,而是采用频罩滤波器和模型滤波器间的交替互补优化方法。采用所提出的IFIR和FRM实现方法,后优化的模型滤波器可以弥补先设计频罩滤波器的性能不足,因此对频罩滤波器性能要求可以有较大的松弛,并降低滤波器长度。仿真结果显示,子滤波器长度之和远小于单个设计的NLPFF长度,有效地减小了实现复杂度。与此同时,对于合成滤波器的性能要求,也可以在互补优化方法中通过约束优化设计得到有效实现。最后,研究了NLPFF在滤波器组多载波(FBMC)中的应用问题,解决了带有Nyquist约束的NLPFF优化设计问题,并建立了以信号与干扰加噪声比值(SINR)为标准的NLPFF选择模式,可将NLPFF作为FBMC的原型滤波器。SINR建立在FBMC系统信号传输建模和分析的基础上,该SINR采用离散时间表示,和FBMC原型滤波器直接相关。相比于文献中已提出的信干比(SIR),该SINR增加了离散时间和噪声的考虑。在NLPFF约束优化设计中,本文针对FBMC原型滤波器的要求,也就是奈奎斯特条件(NYQ),将原始时域表示转换为频域等价表示,并将复杂约束转化为易用的频域约束条件。通过NLPFF优化设计,可以实现性能交换,获得相对PHYDYAS滤波器更优的阻带特性,尤其在过渡带附近。但不同的相位特性(包括群延迟和相位波动),不同的NYQ松弛下,设计所得NLPFF会导致FBMC具有不同的SINR结果,或可比于或远差于PHYDYAS滤波器的SINR。因此,以SINR为标准,建立了相位波动可控、群延迟取值可搜索调节的NLPFF约束优化设计。将该设计所得NLPFF作为FBMC原型滤波器,能够实现可比于PHYDYAS滤波器的SINR和BER结果,同时获得更优的阻带性能以及更低的群延迟。