在发送端和接收端部署大量天线的MIMO系统当中,频分双工的模式下,用户侧和基站端在通信时会形成上、下行链路,压缩感知能够解决该系统中信道状态信息的反馈问题。同时,压缩感知也是目前无线通信系统信道反馈的重要发展趋势,在现有的研究中,第五代无线通信的发展也不断对压缩感知提出了新的需求。压缩感知可以对稀疏信号进行良好的重构,将其应用于MIMO系统中可以提升信道估计的准确性。另外,信号在信道中传输时往往会受到干扰等因素影响,因此对于干扰抑制方法的研究也格外重要。应用压缩感知解决信道估计问题以及利用波束成形技术处理干扰抑制问题,是目前国内外研究的热点。论文研究了 MIMO系统中信道估计方法和预编码技术,解决了无线通信系统中存在的信道反馈性能差以及存在干扰的问题。本文重点研究MIMO-OFDM系统中信道估计方法以及大规模MIMO系统的波束成形技术。主要的研究内容和创新点如下:首先,本文研究了信道估计方法中的非盲估计、盲估计、半盲估计,并对几种传统信道估计算法的优势和劣势进行分析,提出了PCA-MMSE信道估计算法,该方案采用PCA降维方法来做主成分分析,和最小化均方误差代价函数进行求解,解决了 MIMO-OFDM系统中信道估计准确度不高的问题。仿真研究了该系统的均方误差性能,研究结果表明本论文运用机器学习算法,结合降维算法与最小均方误差算法,提出新的系统性能优化方式与传统的LS算法、MMSE算法相比,信道估计的精度有所提升,同时可以提高一定的效率,减少导频开销,实现在一定程度节约带宽资源,使频谱得到充分利用,并使系统各部分达到平衡。其次,研究了压缩感知的重构算法原理以及大规模MIMO系统的信道依赖稀疏性假设的性能,提出了基于深度学习的RA-NET网络信道反馈模型。本方案采用深度学习中注意力模型的方法,在编码器和解码器处分别对信号权重进行分析,同时集合深度学习中的卷积神经网络知识,在系统中加入残差网络,使网络性能不会受到影响,解决了信道反馈效率低的问题。仿真研究了本系统中的误码性能等,研究结果表明,很多实际情况下信道并不会完全稀疏。研究表明,在基于深度学习的信道反馈算法中,一个网络深度越深,它在训练集上训练的效率就会有所减弱,与LASSO算法、TVAL3算法相比,本论文运用深度学习中的注意力模型,在编码器和解码器处分别对信号权重进行分析,使得信道状态信息反馈性能有所提高,同时集合深度学习中的卷积神经网络知识,在系统中加入残差网络,使网络性能不会受到影响,能够有效地甚至可以提高效率。最后,研究了大规模MIMO系统中下行链路波束成形的预编码问题。本论文提出了一种基于RZF-SVD-LA算法的波束成形预编码技术处理算法。该算法采用正则化迫零波束成形方法做预编码,并针对高维度的预编码矩阵进行奇异值分解处理,最后通过拉格朗日对偶的性质做最优化处理,解决了小区间信号传输干扰存在的问题。仿真研究了小区无线通信环境中信号传输的误差性能,研究表明本论文所提出的RZF-SVD-LA算法与传统的ZF算法、RZF算法相比,能够有效降低用户间干扰问题,并达到降低复杂度和提高计算的可行性的目的。