无线通信的发展面临用户速率需求越来越高而同频干扰越来越严重的问题。MIMO技术通过利用空间分集复用技术能实现更高的频谱效率,认知无线电技术则通过对有限频谱资源的有效再利用进一步提高频谱效率,两种技术及其结合已经成为未来无线通信中的关键技术。然而以上技术的有效使用,特别是如何有效解决同频干扰问题仍然需要进一步的研究。本文研究侧重于线性预编码和多用户选择技术研究。通过设计预编码矩阵抑制多天线系统中的同频干扰,有效提高频谱效率。而根据干扰源的不同,预编码设计可分为多小区MIMO系统和认知无线电MIMO系统中的预编码设计。本文针对多用户MIMO系统,通过多用户选择方法设计充分利用多用户分集增益,以进一步提高频谱效率。本文工作按以下内容展开：针对多小区MIMO系统中的干扰问题,本文首先提出了基于两小区MIMO系统的波束成型方案。不同于传统的最大化本小区信号的传输方案,本文联合优化收发端波束成型矢量,在消除小区间干扰的同时最大化有效信号。本文进一步研究了多小区MIMO系统中分布式预编码设计问题。基于信道互易性,提出了一种基于最大化信号与加权产生干扰噪声比的分布式预编码方案,在最大化有效信号能量与最小化产生的干扰之间进行折中,获得了较好的性能提升,并且简单易行。针对认知无线电MIMO系统中干扰问题,本文对基于不同频谱共享模式的预编码设计问题进行了研究。首先针对主用户信息获取问题,不同于理想的信道信息假设,本文提出了一种认知无线电帧结构以获得有效干扰信道信息。针对基于机会频谱接入的认知无线电MIMO系统,提出了一种基于有效干扰信道感知的增强型最大化信号泄露噪声比的预编码方案,在不对主用户产生干扰的同时有效提高次用户系统和容量；针对主用户和次用户性能受限的场景,本文提出一种基于认知中继的协作频谱共享方案,并给出时隙优化分配方案和相应的波束成形矢量设计,仿真结果表明,通过一定的协作,主、次用户的性能均能得到极大提升。最后针对多用户MIMO系统,本文给出了用户选择方案以充分利用多用户分集增益,从而进一步提高频谱效率。首先,基于单小区多用户MIMO系统,提出了两种次优的低复杂度用户选择方法,在低复杂度条件下获得了较好的系统性能。本文进一步研究了认知无线电MIMO系统中用户选择问题,基于主用户和次用户信道的正交性提出了双参数用户选择算法。本文同时给出了所提算法的复杂度以及渐近性能分析,仿真结果表明,所提算法复杂度较低,而性能渐近最优,因此有着较好的实用性。本文研究考虑多小区MIMO系统和基于不同的频谱共享模式的认知无线电MIMO系统,对同频干扰问题以及用户选择问题进行了研究,提出了有效的预编码设计和多用户选择方法以充分提高系统性能。这些研究提高了系统的性能并且具有很好的实用性。