随着无线应用的飞速发展，无线频谱资源作为一种不可再生的资源，其稀缺性日渐彰显。而调查发现，传统的固定频谱分配方式占用了大量已有频段，但是其频谱利用率却处在一个较低的水平，因此认知无线电(Cognitive Radio,CR)技术在最近几年得到了广泛的研究和关注。作为一种能够有效解决无线频谱稀缺难题的新技术，认知无线电允许多个认知用户(Secondary User, SU)在不影响授权用户(Primary User, PU)正常通信的前提下，以较低的优先级接入并共享已授权频段，通过对授权频段进行“二次利用”来提高频谱资源利用率，现已成为无线通信技术的一个发展趋势。为了进一步的提高系统容量，充分结合空频域资源，可以将多天线技术(MIMO)和认知无线电技术结合起来，即在基站发射端和认知用户/授权用户接收端配置多副天线，利用多天线带来空间自由度和复用增益的提升来进一步提高认知系统的性能。然而，多天线传输必然会给系统带来更大的共道干扰，因此干扰抑制成为多天线技术应用的关键。传统的多用户MIMO干扰抑制算法普遍计算复杂度较高，对天线数目有严格要求，并且没有区分用户的优先级；而在认知MIMO系统中必须优先保证授权用户的通信质量，并且认知链路传输要对授权链路通明，这使其成为一个耦合优化问题，值得进一步研究与改进。本论文基于认知MIMO网络下行链路系统模型，旨在针对认知用户对授权用户以及认知用户之间的干扰抑制算法进行研究，以实现认知技术下的多用户频谱共享。本文首先对多天线系统中几种传统的干扰抑制算法进行了深入的研究和对比分析，之后利用信道矩阵降维、广义Rayleigh商以及最大信漏噪比(SLNR)等理论提出了一种适用于认知MIMO系统的波束形成设计，理论和仿真分析证明本算法能够突破传统干扰抑制算法对发射天线和接收天线数目的约束，并且能够在保障授权用户高质量通信的前提下提高认知系统的信道容量和系统性能。此外，在每个认知用户传输多流数据的场景下，基于矩阵同时对角化和SVD分解提出了一种改进的预编码算法，理论分析表明对比原有的干扰抑制算法，此改进算法能在完全抑制对授权用户干扰的同时平衡多流数据间的信道增益，改善认知系统性能；仿真结果也证明本算法能够较大程度的降低认知系统的平均误码率。