在已经到来的5G信息时代,人们的通信质量不断提升,新一代的信息通信技术的广泛应用将产生巨大的流量。因此需要更大的频谱资源来提升系统的容量,现在人们的目光已经放到了毫米波波段,未来甚至准备在太赫兹波段进行通信,以寻求更宽广的频率资源。然而高频段通信存在诸多困难,所以在已有的频谱资源中尽可能提升传输效率显得尤为重要。在上个世纪60年代,研究者提出了超奈奎斯特技术（FTN）,通过破坏码元波形之间的正交性从而提升频谱效率。然而,由于当时FTN系统的接收端算法十分复杂,且数字信号处理和芯片技术并不成熟,并没有广泛应用。但近年来随着许多新的信号检测算法的提出,FTN又开始受到关注。本文首先介绍传统的奈奎斯特系统,并由此引出FTN系统的原理和模型,然后推导出FTN系统的容量和频带利用率,指出FTN系统能得到比传统奈奎斯特系统更高的频谱效率。通过对FTN系统的接收信号进行直接解调,指出由于FTN存在严重的码间串扰,其误码率性能很差,所以需要相应的检测算法来改善系统性能。本文主要研究FTN系统的优化设计方案。在近几年基于频域均衡的检测算法由于具有较低的复杂度而受到关注,然而其性能并不理想。本文考虑消除FTN系统的码间串扰矩阵的检测算法,例如基于SVD分解的方案,然而其性能依然不尽人意。于是本文提出一种在接收端乘以码间串扰矩阵的逆矩阵后,用交替方向乘子法进一步提升系统性能的方案,该方案通过将FTN系统的信号检测问题转换为最大似然序列估计问题,并且插入导频作为迭代收敛的参考,从而完成基于交替方向乘子法的FTN系统信号检测。仿真结果显示,此方案在压缩因子较高时性能优异,并且在系统使用超高阶调制时,依然能够获得很好的性能且复杂度的增加很小。本文将FTN系统的成型过程等效为波形的叠加,由此发现在压缩因子较低时,发送端存在总功率较大的问题。于是本文提出一种基于加扰的系统优化方案,通过在发送端加入扰码,从而尽可能降低功率,提升系统的性能。仿真结果显示,通过加入少量的额外比特作为扰码指示,系统能获得不错的性能增益。在低压缩因子的FTN系统中,基于状态树的信号检测算法具有优异的性能,但是在硬件实现中复杂度较高。本文提出一种在最大后验概率检测算法中结合概率计算的方案,有针对地优化了实现步骤,能调整随机数序列的长度来改变系统的检测算法复杂度。仿真结果显示,此方案能降低资源消耗,并且性能的降低很小。