近年来,全球信息通信产业移动化、宽带化和智能化的发展趋势日益明显。作为第四代移动通信系统(the 4th generation mobile wireless system,4G)的延伸,第五代移动通信系统(the 5th generation mobile wireless system,5G)已经成为国内外通信领域的研究热点。在5G通信的众多关键技术中,大规模多入多出(multiple-input multiple-output,MIMO)技术是下一代无线通信系统中最受关注的6 GHz以下物理层技术,其核心思想是在基站侧使用大规模天线阵列来同时为多个独立的用户终端提供服务。目前,大规模MIMO系统因在频谱效率、能量效率以及链路可靠性等方面的显著优势受到工业界和学术界的高度关注,而信号检测则是大规模MIMO系统的重要环节。以大规模系统上行链路为例,基站接收到的信号并不是来自某个单一用户终端的,而是许多用户类型信号的叠加,故大规模MIMO系统中信号检测的难度要远远大于传统的小规模MIMO系统。本文对现有的大规模MIMO系统中的信号检测技术进行深入研究,并提出了几种行之有效的优化方案,以求在性能和复杂度间取得较好的平衡。随着信息技术的发展和学科间的交叉融合,学术界和工业界逐渐认识到信息工程领域的很多问题本质上都是概率推断问题。而信息传递算法是解决概率推断问题的重要算法,以Pearl在1988年提出的置信度传播(belief propagation,BP)算法为代表。随着大规模MIMO系统中发射天线数量和接收天线数量的增长,BP检测算法的信息传递网络也越来越复杂,需要处理的概率信息也越复杂。为了进一步降低BP检测算法的计算复杂度,本文在传统BP检测算法的基础上,提出了更适合大规模MIMO系统的基于Max-Sum算法的低复杂度BP检测器。另外,通过引进归一化修正因子和偏移修正因子,提出了两种有效的性能改进策略来提高Max-Sum算法的近似精度,使误码率逼近传统的BP检测算法。在硬件实现上,我们给出了基于Max-Sum算法的高效检测器架构,并对各个模块的实现进行了详细分析。FPGA实现结果证明,相对于传统的BP检测器,基于Max-Sum算法的低复杂度BP检测器具有更高的硬件效率以及更大的数据吞吐量,能够适用于多种大规模MIMO系统和多种相关信道。由于大规模MIMO系统在天线数量庞大时会呈现信道固化特性,即随着天线数量的增加,信道矩阵的特征值越来越趋向于一个稳定值。本文结合大规模MIMO的信道固化特性,建立了一种更加简单的因子图模型,并在此基础上提出了一种低复杂度BP-CH算法。该算法会在迭代更新之前对信道矩阵和接收信号进行预处理操作,从而简化BP算法中置信度更新的网络结构。不同的天线配置和调制方式下的仿真结果表明,在天线数较多的条件下(信道固化的越明显),BP-CH检测算法能获得与传统BP算法几乎完全一样的误码率。另外,基于BP-CH算法的缩减因子图,本文还设计了一种BP-CH检测器的折叠硬件架构。FPGA综合结果表明:相对于传统BP检测器,BP-CH检测器以及折叠BP-CH检测器在硬件效率上占有明显优势,尤其是折叠BP-CH检测器。期望传播(expectation propagation,EP)算法是2001年Tomas P Minka在其博士论文中提出的一种基于贝叶斯网络的推理算法。由于大规模MIMO信号检测问题本质上是一个贝叶斯推理问题,因此EP算法完全可以应用到MIMO信号检测中。然而,由于大规模MIMO系统处理的信号是多维向量,EP算法在计算近似后验概率分布的特征统计量时总是会涉及到高维矩阵的求逆问题。为了解决EP算法在大规模MIMO检测中的高维矩阵求逆问题,本文提出了一种兼具高性能与低复杂度的大规模MIMO检测算法,即EP-NSA检测算法。EP-NSA检测算法创新性地将传统多项式级数展开与EP算法相结合,实现对协方差矩阵的近似求逆过程,从而极大降低传统EP检测算法的计算复杂度。本文还分析了影响EP-NSA算法收敛性能的两个重要因素,并根据不同的场景需求给出了关于保留Neumann级数展开项的建议,以便灵活适应不同的系统配置和传播环境。在基于多项式级数展开的低复杂度EP-NSA检测算法的基础上,针对三阶Neumann级数复杂度同样较高的情况,本文提出了基于迭代Neumann级数展开的EP检测算法,即EP-INSA算法。在EP-INSA算法中,我们不再把高维矩阵求逆当作一个单一的问题来考虑,而是将矩阵求逆运算与特征量的更新结合起来考虑。具体来说,用迭代求逆的方式代替一次性求逆,前一次迭代的结果可以用来计算下一次迭代的结果。无论需要计算几项Neumann展开项,计算复杂度都会控制在O(M~2)数量级。由于EP-INSA算法中均值和方差的更新公式具有迭代的特点,所以本文利用类IIR滤波器的思路设计出一种EP-INSA检测器的高效硬件架构,并对其处理时序进行了详细的分析。作为MIMO检测家族中的重要分支,线性检测算法(ZF、MMSE等)在小规模MIMO系统中具有较高的应用价值,因为它们能以相对较低的复杂度取得不错的检测性能。然而当线性检测应用到大规模MIMO系统中,高维矩阵求逆操作导致的过高复杂度使其几乎无法工作,尤其是在上行链路上用户数较多时。本文着重探讨了基于迭代数值法的MMSE检测在大规模MIMO系统中的应用,并提出了一种改进阻尼Jacobi迭代算法。首先,我们综合讨论了各类基于迭代数值的MMSE检测算法的特点和收敛性,并对比了其复杂度及不同相关信道下的误码率性能。接着利用Gauss-Seidel迭代算法收敛快以及阻尼Jacobi迭代易于并行化的特点,提出了一种改进的阻尼Jacobi迭代算法,其主要思想是利用Gauss-Seidel迭代来计算Jacobi迭代的快速收敛初始解。最后,设计了一种通用的基于迭代数值算法的线性检测器架构,主要包括预处理模块、主要计算模块和迭代更新模块,并详细分析了其硬件资源消耗和时序调度情况。