随着社会的发展,人们对无线数据传输的需求日益增长,高带宽和高可靠性成为现代移动通信技术追求的目标。目前第3代移动通信系统(3G)已投入商用,超3代(B3G)或第4代(4G)移动通信系统TD-LTE技术也成功在2010年上海世博会上进行了试用,相关的关键技术已经基本成熟。通信技术的发展缩短了人们之间的距离,使沟通和信息的获取更为方便快捷,为社会的发展注入了强劲的活力。无线通信技术作为通信领域的一个重要方向,已经成为当今世界发展最快的技术之一,并成为社会发展的重要标志。然而,实际的移动通信系统面临着诸多复杂的问题,多径、频移、噪声、多址干扰、符号间干扰以及带宽的限制等都严重影响通信链路的质量和系统容量,并成为制约通信发展的关键因素。随着带宽的提高,单载波通信技术越来越难以克服多径问题和多普勒效应。以OFDM为代表的多载波技术在抗多径方面取得了显著进展,因而获得了广泛研究。然而OFDM技术也存在一些缺陷,如对频偏和相偏敏感,需要严格的定时和载波同步,需要虚载波和循环前缀来保证子载波之间的正交等,这些因素都降低了系统频谱利用率,提高了系统成本。作为多载波技术之一的FMT技术同样具有较好的抗多径的能力,而且相对于频域采样函数波形成形的OFDM技术,在频域矩形波形成形的FMT技术具有更好的抗频偏和抗串扰的能力,因而成为VDSL的候选技术之一。本论文主要针对FMT系统的原型滤波器设计、PAPR分析以及与信道编码的级联和部分响应FMT系统等方面问题进行了研究,论文的学术贡献主要有：1)对FMT系统PAPR进行研究。采用极值理论推导了FMT系统PAPR的互补累积分布函数(CCDF)。并根据互补累积分布函数分析了FMT系统PAPR和滤波器类型以及长度的关系,为FMT系统设计提供指导。研究了FMT系统降低PAPR的相关算法,对部分传输序列(PTS)算法在FMT系统中降低PAPR的性能进行了研究和仿真。2)利用凸优化理论进行原型滤波器设计。分析了FMT系统中的符号间干扰(ISI)和信道间干扰(ICI),研究了采用符号间干扰和信道间干扰作为约束条件的凸优化技术进行FMT系统原型滤波器设计方法,克服了传统的逼近理想低通设计办法带来的符号间干扰过大的问题。3)FMT系统和Turbo编码、卷积编码的级联设计。分别研究了FMT系统和串、并行Turbo码的级联方案以及与卷积码相结合的方案,提出与之相适应的似然比计算方法,并对所提方案在不同信道环境、调制方式以及码率下的性能进行比较。利用外信息转移图(EXIT)方法分析FMT系统与并行Turbo码级联系统的迭代译码性能。4)提出部分响应FMT技术。针对FMT系统频域矩形成形导致的符号间干扰过高问题,提出了部分响应FMT技术。通过在发送端对子信道信号进行相关编码使FMT子信道频谱依然保持严格约束的特点,同时优化了时域冲击响应波形,降低了符号间干扰。最后研究了部分响应FMT系统在AWGN信道中的抗噪声性能以及部分响应FMT系统均衡方案。论文最后对FMT技术目前研究存在的问题和下一步的研究进行了总结和展望。