近年来,无线通信领域发展迅速,手持移动终端得到普及,各种移动多媒体新业务呼之欲出,越来越多的应用需要高速无线接入。由于无线传输受到信号衰落和噪声的影响,为了实现高数据速率和高业务质量,要求采用新技术来提高频谱效率和改善链路可靠性。在发射机和接收机使用多个天线进行数据传输的多输入多输出(MIMO)技术,可以在不增加带宽和天线发送功率的条件下,成倍的提高频谱利用率,提高系统的信道容量,还可以抗多径干扰。在宽带城域网(如WiMAX)、移动通信长期演进(LTE)和超宽带通信(UWB)等主流无线通信中都将采用MIMO天线技术。非线性信号处理技术在波束形成中已得到广泛关注,其能够有效利用传统线性技术处理中丢弃的信号高阶统计特性,从而更有效的估计系统模型各参数。在MIMO通信系统领域中主要采用的是线性译码技术,国内外对非线性译码的研究还比较少。采用非线性译码能提高MIMO系统译码性能,可以为通信技术的进一步发展和应用作出贡献,但是在处理过程中,较大的计算复杂度往往阻碍了非线性算法的应用实现。通过采用稀疏化降维的思想方法,能够有效降低非线性处理的计算复杂度,为其在实际工程中的广泛应用奠定基础。本文就是以这一背景而展开的。本文以移动通信发展的历程为开端,介绍了下一代移动通信中的关键技术,接着给出了下一代移动通信系统中将广泛应用的MIMO技术和空时编码技术,然后在第三章介绍了常规MIMO系统线性译码准则和算法,在第四章对非线性算法进行了阐述,在准静态瑞利衰落MIMO信道中,比较研究了其对阵列接收和MIMO系统译码性能的提高,在第五章中针对非线性处理维数高、计算复杂度较大的问题,研究了基于矩阵降维思想的多维空间稀疏化方法来解决非线性处理计算复杂度。第六章针对MIMO系统多用户干扰的问题,研究了非线性多用户检测方法,并完成不同参数条件下的性能比较。本文通过大量仿真实验结果证明了非线性算法的有效性和优越性。最一章给出了全文总结和对未来的展望。