近年来,随着无线通信技术的飞速发展,第五代移动通信技术(5G)已经成为了国内外无线通信领域的研究热点。本文主要针对5G中的两大关键技术,即大规模多输入多输出(MIMO)系统和Polar码,做了一些研究。基于大规模MIMO背景,在传统的多项式级数展开的线性低复杂度检测算法的基础上,本文提出了软输出迭代Neumann级数展开检测算法,并对其进行收敛性、性能、复杂度分析;提出的软输出方法很好地利用了原来级数方法与信道固化性质,在较好传输条件下,相比经典的Cholesky算法,能很好地体现低复杂度优势。在Gauss-Seidel(GS)检测算法的基础上,本文提出了基于改进的GS方法的大规模MIMO检测算法,并提供了相应的硬件架构设计和实现结果。改进后的算法具有快速收敛于精确MMSE检测性能和适应各种恶劣传播环境的优点。数值仿真和现场可编程门阵列(FPGA)实现结果显示提出的检测器在硬件效率方面和错误率性能方面均占有一定优势。在GS检测算法的基础上,本文还提出了一种低复杂度、硬件友好的并行GS检测算法。和传统的GS检测算法相比,并行GS检测算法能够提高硬件实现的并行度,同时几乎不损失性能;且具有良好的伸展性,尤其适合大规模MIMO系统。FPGA综合结果表明提出的检测器还具有硬件效率更高的优势。在GS检测算法的基础上,本文还提出了采用预条件技术提高收敛性能的预条件GS检测算法。和传统的GS检测算法相比,预条件GS检测算法在系统负载系数较大和相关信道的大规模MIMO系统中能取得更好的检测性能。同时,本文还提出了对应的高效检测器,其良好的硬件效率和伸缩性尤其适合用户数很多的大规模MIMO系统。在多项式级数展开检测算法的基础上,本文提出了基于Neumann级数的改进的三对角矩阵近似求逆算法。改进后的算法对于大规模MIMO检测问题能够很好地取得计算复杂度和错误率性能的折中。同时,本文还提供了改进的检测器的硬件架构设计和FPGA实现结果。结果显示,改进的检测器取得了最高的硬件效率。基于大规模MIMO背景,本文还提出一系列可调收敛速率的大规模MIMO迭代检测方法。这些方法的主要优点在于可以根据系统特性和传播环境进行灵活的配置,从而达到更好的检测效果以及更低的实现复杂度。同时,本文还将这一系列可调收敛速率算法全部统一在一个更加通用的框架内,提出了完全可调的检测算法。在分块对角阵近似求逆的基础上,本文提出了适用于用户配备多天线情况的大规模MIMO系统的低复杂度检测算法。同时,本文还将两者结合起来,设计了块对角阵近似求逆检测器的高效硬件架构。在Polar码置信传播(BP)译码的基础上,本文提出了多重缩放置信传播译码算法,用以加快Polar译码算法收敛速度。同时,本文还提出了基于深度学习算法的改进型Polar译码器。相比原始的Polar BP译码器,基于深度学习的Polar译码器能够大大减少BP译码迭代次数,同时取得更好的译码性能。此外,本文还提供了基于深度学习的Polar译码器基本运算模块的高效硬件实现,并且利用硬件折叠技术减少了大量硬件消耗。