通信技术的迅猛发展使人们对数据传输速率和通信质量的要求越来越高,而无线频谱资源非常有限,多输入多输出(MIMO)技术可以有效的解决如何在有限的频谱资源上可靠高效传输数据的问题。垂直分层空时结构(V-BLAST)是MIMO系统的关键信号处理技术之一,最初是由贝尔实验室的Foschini在1998年提出,由于它不仅能够达到高的频谱利用率而且具有相对简单的发射结构和检测算法,因此V-BLAST算法自提出以后,迅速得到了业界人士的普遍关注,在短短十几年的时间里取得了广泛的应用和飞速的发展。由于移动通信信道具有很高的复杂性,所以对移动通信信道进行分析和分类是研究MIMO技术的基础。本文首先分析了移动通信电磁波传播的机理,讨论了小尺度衰落的各种参数,并根据各参数在信号传输过程中对信号的影响将小尺度衰落信道分成6种信道类型。进一步,根据小尺度衰落的统计特性,给出了两种经典的衰落模型以及三种MIMO系统的衰落信道模型。本文在对MIMO垂直分层空时结构(V-BLAST)理论进行深入分析的基础上,针对基于用户接收端的V-BLAST检测算法做了大量仿真研究,并根据仿真结果分析了现有检测算法的优点与不足。然后在现有检测算法的基础上,提出了一种基于SVD分解,联合最大似然检测和最小均方误差排序干扰消除的分组(MMSE-OGIS)检测算法。在搭建的V-BLAST系统平台上进行相关仿真研究。结果分析表明,MMSE-OGIS算法能以适当增加复杂度为代价,改进系统性能,且适用于各种调制方式和分组长度,具有一定的灵活性和实际应用价值。另外,由于多用户MIMO之间的通信是未来发展趋势,如何抑制MIMO多用户之间的干扰成为了新的研究热点。因此本文首先研究了单用户MIMO发送端运用预均衡技术来抑制多子流干扰的模型,仿真表明该模型在基站端对各个天线的信号进行预编码,而在接收端几乎不用对信号进行复杂检测就能得到较好的系统性能。其次在单用户预编码模型的基础上分析了多用户MIMO的预编码模型,通过块对角化的方法,即对多用户信道矩阵进行SVD分解实现发送端的预编码,完全消除了其他用户对有效用户的同道干扰,将多用户MIMO的干扰抑制问题转化为多个等效并行的单用户MIMO干扰消除问题。并将简单的天线选择算法应用于该多用户MIMO系统。最后在各种情况下对系统进行了大量仿真,验证了此模型具有良好的性能。