大规模MIMO技术是未来5G通信中的重要技术之一,为了优化大规模MIMO系统的传输性能,论文研究了大规模MIMO系统发射端和接收端的信号处理技术。针对大规模MIMO系统检测算法复杂度较高的问题,论文提出了两种新型低复杂度检测算法。其中,改进的混合Gibbs采样检测算法通过加入提前终止迭代的欧式距离门限判决以降低算法的计算复杂度,并对为避免迭代不收敛而在实测信号分布上所加的扰动进行优化以提高信号检测的精确度;改进的干扰排序抵消检测算法的原理是基于论文在理论分析与数字仿真中发现,在检测过程中,以星座图中的星座点为圆心,以干扰的功率为半径画圆,落在圆之间相交的区域内的信号是较不可靠的。基于上述发现,论文修改了干扰排序抵消检测算法中判断信号可靠的准则以提高检测算法的误码率性能,并且加入分组抵消以实现计算复杂度和误码率性能的折中。在频率选择性衰落信道下,大规模MIMO-OFDM系统通常采用数模混合波束成形算法以降低射频链的数量。但现有的数模混合波束成形算法通过在多用户与子载波间做调度以实现将射频链降低到与平坦衰落时相同,牺牲了系统的和速率性能。针对上述问题,论文提出了一种不需要做调度的新型数模混合波束成形算法。该算法将大规模MIMO-OFDM系统在频率选择性衰落信道下射频链数量减少到和平坦衰落时相同,且算法的复杂度与发射天线的数量成线性增加。仿真结果显示,论文所提出的数模混合波束成形算法的和速率性能接近全数字波束成形提供的和速率性能上界,并且该算法不需要在多用户和子载波间做调度,因此可以支持较多的子载波,提升了系统的和速率性能。论文分析了最小均方误差信道估计下多载波空间调制系统采用任意阶广义线性插值技术时的理论误码率上界,基于误码率上界最小的原则推导出导频符号和数据符号间的最优功率分配,证明了该最优功率分配不受广义线性插值阶数的影响。数字仿真结果显示,该最优功率分配能让多载波空间调制系统的误码率性能实现较大的增益。为了抑制空间调制OFDM系统的带外频谱泄露,将多载波空间调制系统与N连续滤波器结合。论文分析了由于N连续滤波器引入在每个子载波上的干扰的统计模型,提出了N连续滤波器多载波空间调制系统的近似传输模型。基于上述的近似传输模型,进一步分析了N连续滤波器多载波空间调制系统在完美信道估计下的理论误码率上界和在采用MMSE信道估计时的理论误码率上界,并基于误码率上界最小的原则推导了导频和数据符号间的最优功率分配。数字仿真结果显示,N连续滤波器的引入降低了多载波空间调制系统的误码率性能,分析的理论误码率性能与实际仿真的误码率性能可以较好的重合,并且给出的最优功率分配能让系统的误码率性能实现较大的增益。论文最后总结了全文的研究结果,并指出了下一步的研究方向。