单通道混合信号的分离在信号处理领域是重要的研究内容之一。相对于多天线接收系统,单个天线系统成本低廉、能耗低以及系统设计简单。另一方面,随着异构通信网络的广泛应用,由于频谱的重复利用,单个通道内出现两个或多个信号的现象也越来越常见。由于单通道混合信号在时域和频域上是部分或完全重叠的,无法使用传统的时域或频域滤波的方法对混合信号分离。因此对单通道接收的多分量信号的分离方法展开研究,具有重要的意义。本文对单通道接收多个高阶MPSK时频混叠信号的分离算法进行研究。在构造出单通道混合信号的虚拟多通道模型的基础之上,研究了基于半定松弛和低秩半定松弛的信号分离方法。本文的主要工作如下:1)提出了基于半定松弛单通道时频混合信号分离方法。首先,利用过采样技术,构建虚拟多入多出模型,并将原问题中输入信号变量的离散值约束松弛为半定约束,从而得到一个半定规划问题。其次,利用内点法和随机化方法,设计了求解该半定规划问题以及符号序列的方法。最后,根据虚拟多通道信号模型的特殊结构,引入判决反馈均衡机制,提高了信号分离的性能。2)提出了基于低秩半定松弛单通道时频混合信号分离方法。首先,增加秩1约束到半定规划问题,得到一个低秩的半定规划问题,并利用交替变量法,将多变量优化问题转变为单变量优化问题。其次,分析了起始点的选择、局部最优解的扰动以及信号判决等策略和方法,以得到原问题的较好近似解。最后,通过引入反馈均衡机制,进一步改善了信号分离的性能。