自从20世纪70年代中期提出子带信号处理以来，子带滤波器组在通信信号处理的诸多领域，例如语音信号处理、图像处理和移动通信等领域得到了广泛的应用。子带信号处理技术可以有效减小信号处理的复杂度、降低数据的传输速率和减少数据存储量。滤波器组设计追求的目标是使输出端重构的信号与输入端的原始信号相同。从实际应用角度考虑，在失真控制在一定范围内的条件下，限制少、效率高、实现简单的设计方法更有价值。本文的工作围绕滤波器组的设计理论展开。重点研究了M通道余弦调制滤波器组的设计理论。提出了一种基于线性迭代的优化算法来间接设计余弦调制滤波器组。此种方法只需要对一维目标函数进行线性优化，按照此方法可以得到性能良好的原型滤波器，进而得到重构误差较小的近似重构余弦调制滤波器组。本文给出的方法具有相对的设计自由度，可以根据应用需要自定义滤波器组的参数。计算机仿真实验结果表明，利用该方法设计的滤波器组具有较高的阻带衰减和较小的系统失真。在子带编码、自适应子带滤波和语音信号处理等实际应用中，对信号进行分析时往往希望不同的频带有不同的分辨率，因此非均匀划分的滤波器组更受欢迎。以往基于合并算法来获得非均匀滤波器组时，需要分别设计两个通道数不同的均匀滤波器组，整个合并过程复杂，且受限于每个均匀滤波器组的参数。按照本文改进的线性迭代方法来设计出余弦调制滤波器组后，直接合并均匀滤波器组相邻子带就可以获得非均匀的滤波器组，计算机仿真实验结果表明合并后的滤波器组的频带内并没有出现起伏。