超奈奎斯特（Faster-Than-Nyquist,FTN）传输技术是一种非正交传输技术,可以高于奈奎斯特第一准则的速率传输数据,从而获得更高的频谱利用率。但是,采用FTN传输技术会引入严重的码间串扰（Inter-Symbol Interference,ISI）,因此需要利用接收端均衡技术或者发送端预编码技术对ISI予以消除。论文围绕FTN传输系统预编码技术展开如下研究:1、针对FTN传输系统中色噪声问题,设计了WF-GTMH（Whiten-Filter G-to-Minus Half）预编码方案。在推导FTN传输系统中色噪声统计性质的基础上,设计白化滤波器,基于加入白化滤波器的FTN传输系统推导传输系统广义信道矩阵,并在此基础上完成预编码方案设计。仿真结果表明,该算法与GTMH预编码算法相比误码性能有0.2～0.4dB的增益。2、为了降低预编码计算复杂度,提出了循环矩阵MMSE预编码算法。通过插入循环前缀,将系统传输模型由线性卷积运算转化为圆周卷积运算,广义信道矩阵转化为循环矩阵,基于循环矩阵设计的MMSE预编码算法可显著降低计算复杂度。分析表明,循环矩阵的引入使得MMSE预编码算法的线上复杂度由O（N ²）降低到O（Nlog₂ N）。3、为进一步提升系统可靠性,将Polar码与预编码FTN传输系统进行了级联设计,将预编码FTN传输系统端到端等效为一个整体逻辑信道,并针对该信道设计Polar码码字。仿真结果表明本文设计的Polar码相比卷积码、一般通用型Polar码和LDPC码在误码性能上具有显著优势。