由于大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)系统在频谱效率和能量效率方面的巨大提升,大规模MIMO被第五代移动通信系统(5G)采纳为核心技术之一。然而在提升系统容量的同时,大规模MIMO系统带来了许多新的问题,这些问题包括天线阵列的设计、预处理和波束赋形算法、导频设计、信道估计和信号检测算法的复杂度和性能问题等。其中,信道估计和信号检测是通信系统接收端的核心模块,对系统性能及时延的影响巨大,而传统的信道估计与信号检测算法由于在大规模MIMO系统中复杂度过高或性能不足而无法适用。针对上述问题,本论文分别研究了适用于大规模MIMO的信道估计与信号检测算法,并提出了优化后的算法,主要研究内容如下:(1)重点分析了基于深度学习的信道估计(Deep Learning-Based Channel Estimation,DCE)算法,提出了一种优化目标函数的总变分(Total Variation,TV)的DCE-TV算法。DCE算法首先对接收信号做去噪处理,之后再进行最小二乘估计,其损失函数为隐式的平方损失函数,仿真表明,DCE算法性能离最优信道估计算法尚有差距,通过在DCE的目标函数中加入显式的总变分正则化项,可提高DCE算法性能。仿真验证表明,所提算法相比原始DCE算法复杂度略微提升,而性能提升明显。(2)重点分析了基于邻域搜索的似然上升搜索(Likelihood Ascent Search,LAS)检测算法和主动禁忌搜索(Reactive Tabu Search,RTS)检测算法,并提出了一种优化初始解的对称超松驰迭代RTS(Symmetric Successive Over-relaxation RTS,SSOR-RTS)算法。仿真结果表明,SSOR-RTS算法性能逼近传统RTS,且复杂度大大降低。基于SSOR-RTS算法,本论文进一步提出了自适应SSOR-RTS算法,其利用最大似然(Maximum-likelihood,ML)代价变化率控制SSOR迭代次数,在性能与复杂度间取得了更好的平衡。仿真验证表明,自适应SSOR-RTS算法性能与传统RTS算法性能相当,且平均复杂度相比SSOR-RTS更低。