多输入多输出（MIMO）技术能够在不消耗额外资源的条件下成倍增加信道容量，已成为未来移动通信的核心技术之一，但同时MIMO系统仍有许多关键问题亟待解决。本文主要研究了MIMO系统的预编码技术和多用户MIMO中的用户选择技术，目的在于进一步挖掘MIMO的潜力，促进MIMO技术在未来移动通信中的应用。本文首先对MIMO系统中的预编码技术进行研究。介绍了预编码的原理，分析了在各种条件下的预编码方法。在此基础上，本文提出了一种适用于多小区协作（CoMP）下进行联合处理的预编码方法，相比基于QR分解的预编码方法，该算法能够消除各子信道数据间的干扰，避免接收端的错误传播。另外通过简单的协作能够对子信道进行联合排序，平均各子信道的增益，进一步降低系统误码率。其次，本文研究了多用户MIMO中的用户选择问题，针对单小区中用户具有多天线的情形，提出一种基于有效信道容量的用户选择算法，本算法相比传统算法考虑了用户天线的协作特性，提高了系统的总速率。最后本文提出一种适用于多小区联合处理（CoMP-JP）的MMSE用户选择算法，相比最优的MMSE算法能够大大减少链路的数据传输量，并能够取得近似最优的性能。