提升频谱效率一直是无线通信面临的重要任务。对于传统的正交通信系统而言,提升频谱效率的唯一方法是采用更高阶的调制方式。然而,采用高阶调制方式会使系统对噪声以及器件的非线性愈加敏感,导致系统性能的严重退化。在这样的背景下,我们不得不将目光转向非正交调制等传输技术,从根本上寻求频谱效率的进一步提升。超奈奎斯特(FTN)和高频谱效率频分复用(SEFDM)作为两种非正交传输技术,成为了近年来无线通信领域的研究热点,具有很高的理论研究意义和工程应用价值。本论文从FTN、SEFDM基本原理研究分析出发,以降低复杂度和提升性能为目标,研究了基于因子图模型的FTN和SEFDM低复杂度检测技术,以及分别基于块状导频和梳状导频的SEFDM信道估计技术。首先,论文介绍了FTN和SEFDM的基本原理。针对FTN系统,介绍了它的基本模型,通过时域波形和功率谱密度两方面分析FTN高频谱效率的特性。然后介绍了 FTN的成型滤波器和Mazo限,并从系统容量的角度说明FTN相比于正交系统的优势。针对SEFDM系统,介绍了它的系统模型,通过与OFDM进行对比并从时频格密度的角度进行分析,说明了SEFDM系统的频谱效率优势。此外,论文还介绍了两种SEFDM的信号生成方式,即基于小数倍傅里叶逆变换(IFRFT)和基于离散傅里叶逆变换(IDFT)的生成算法,其中IDFT生成方式是后续章节研究的基础。其次,论文研究了 FTN的低复杂度检测技术,重点研究了 FTN的因子图置信度传递(FG-BP)检测算法。论文根据加性白高斯噪声(AWGN)信道下FTN符号间相互干扰的关系建立因子图模型,推导置信度传递算法内部的消息传递过程,并定义串行消息更新机制。论文为了进一步降低FG-BP检测算法的复杂度,对干扰和噪声进行高斯近似(GA)。之后将FG-BP检测算法扩展到多径信道下,为了缓解多径信道造成的误码率难以继续下降的问题,采用Turbo迭代结构提升系统的误码性能。论文通过对比和分析,证明了在FTN系统中提出的FG-BP检测算法具有较低的复杂度和较好的误码性能。接着,论文研究了 SEFDM的低复杂度检测技术。在研究检测算法之前,针对SEFDM系统插入传统CP会引入强烈的带外频谱泄漏的问题,提出了一种连续相位CP,保证了 CP与SEFDM符号之间的相位连续性,同时确保了多径信号的循环卷积特性。然后论文提出了SEFDM的FG-BP检测算法,建立SEFDM的因子图模型,并在AWGN和多径信道下分别推导FG-BP检测算法消息传递过程。论文针对SEFDM因子图全连的问题,提出了自适应进行边选择的改进策略,大大降低了检测算法的复杂度。最后,论文对SEFDM的信道估计技术进行了研究。论文先在采用块状导频的SEFDM系统中提出截断共轭梯度信赖域(TCGTR)信道估计算法,它可以缓解因导频矩阵病态特性而引起的信道估计精度下降,提升信道估计的MSE性能。但是基于块状导频的信道估计算法由于系统开销过大,只适用于慢衰落信道和静态多径信道。因此,论文还提出了一种基于梳状导频和三级串联Turbo迭代的联合信道估计、检测与译码算法,来更好地适应信道的快速变化。首先,设计了具有部分正交梳状导频的信号结构,然后定义了可以利用消息反馈进行干扰消除的信道估计算法。接着,论文提出了一种基于三级串联Turbo迭代的联合信道估计、检测与译码结构,通过在信道估计器、检测器与译码器之间进行信息交互,综合利用各模块信息,同时提高信道估计与信号检测的精度。与基于块状导频的信道估计算法相比,论文提出的基于梳状导频的联合信道估计、检测与译码算法能更好地适应信道的快速变化。