由于移动通信业务量的增多以及人们对通信质量要求的提高,近年来,越来越多的研究者开始将目光转移到具有大量发送与接收天线阵列的通信系统的研究中来,称之为大规模MIMO通信系统。该系统可以使得通信的过程通过分集技术获得更高的数据率,同时也使得频谱的利用率更高。但是,大规模天线阵列的使用会给系统的计算带来大量的复杂度,从而影响通信系统的效率,并产生了通信性能和复杂度之间的平衡问题。信号检测是用来提升通信性能的一项重要技术,该过程通过对接收到的信号进行检测处理,消除一定量的干扰和性能误差,从而提升通信系统的性能。先前的研究者们已经提出了一些检测算法,如ML检测、ZF检测、MMSE检测等算法,这些算法一定程度上都能提升通信性能,但也存在着诸如复杂度太高、性能提升不充分等问题。本文致力于在性能和复杂度之间寻找折中方案。通信系统的性能和复杂度是一对矛盾的两方面,本文采用相关优化算法,在保证性能的基础上尽可能降低复杂度。首先,介绍了大规模MIMO系统以及基于此系统所采用的编码方式,同时对传统的检测算法进行分析和仿真,并阐述这些算法所存在的局限性。然后,本文提出了两种基于大规模MIMO编码系统的低复杂度信号检测算法,这两种算法分别基于Neumann级数展开法和信道硬化理论,可以用于降低信号检测过程中求解软比特信息的复杂度。为了进一步提升通信性能,本文又介绍了联合迭代检测译码算法,该算法在天线数较多的情况下性能更佳。但是大量的迭代也会带来复杂度的升高,对此本文提出了两种优化方案。其一是将上述所提到的信道硬化理论与其他相关算法结合,从而降低迭代检测译码过程中不必要的复杂度;其二是一种基于牛顿迭代法的低复杂度优化算法,利用牛顿迭代法的相关性质降低算法的复杂度。本文对所提出的几种方案都进行了性能仿真和复杂度分析,结果显示,就误比特率性能而言,所提出的改进方案都能近似传统方案的性能,即保证了性能不受较大影响。同时,就复杂度而言,本文所提出的改进方案要远远低于传统方案。