随着无线通信技术的不断发展,各种新的业务需求不断涌现,无线资源的使用日趋紧张。如何利用有限的频谱资源获得更高的频谱效率以及通信可靠性是无线通信中迫切需要解决的问题。作为近年来无线通信传输技术研究中重大的突破之一,多输入多输出(MIMO)技术能够利用多径现象,在无需增加频谱资源和发射功率的情况下成倍地提高通信系统的频谱效率,对抗衰落,改善通信可靠性,是解决上述问题的一个有力的手段。然而实际应用中多用户干扰、定向干扰等各种干扰的存在会导致MIMO系统无法达到预期的性能,甚至造成系统可能无法正常通信。这种情况下需进行有效的干扰抑制处理以避免MIMO系统的性能恶化,保证其能正常通信。定向干扰在许多环境下,特别是军用通信环境下,是极为严重的问题,但针对MIMO系统中定向干扰抑制的相关讨论则很有限,尚有大量问题未得到很好地解决。因此研究MIMO系统中的定向干扰抑制十分有必要。本论文从实际应用角度出发,围绕MIMO系统中的定向干扰抑制这一主题,对干扰条件下的MIMO系统容量,干扰抑制方法以及有效信道估计的实现等内容进行了探索性的研究,本文的主要研究内容如下:首先,本文对定向干扰条件下的MIMO信道容量进行了研究,分别详细推导了确定性信道和随机性信道下的容量表达式,还进一步分析了干扰源的干噪比(INR)、方向以及干扰源之间的相关性对MIMO信道容量的影响。分析结果表明,MIMO系统中的接收天线数与干扰源的个数之间的大小关系对于该系统在高INR下所能达到的容量极限有着重要影响,为了保证MIMO系统能够在高INR下正常工作,必须满足接收天线数大于干扰源的个数这一条件;而当多个相互独立的定向干扰源的方向越接近,或是干扰源之间的相关程度越高时,系统所能提供的遍历容量越高。其次,针对定向干扰条件下的采用空时分组编码(STBC)的MIMO系统,本文重点研究了基于波束形成的干扰抑制方法,提出了分别基于最小均方误差(MMSE)准则和最小二乘(LS)准则的波束形成干扰抑制方法,对其原理及其在实际应用中的四种不同的具体实现方法,即分别采用直接矩阵求逆(DMI)算法、归一化LMS(NLMS)算法、LS批处理算法以及递推LS(RLS)算法的波束形成干扰抑制的四种方法,进行了详细研究。这四种方法均无需进行信道估计,通过形成多个与发射符号分组中各个符号一一对应的波束,可以实现对发射符号分组内各个符号的单独检测。接着,本文重点研究了基于最大似然解码(MLD)的干扰抑制方法。在给出传统MLD干扰抑制方法的原理的基础上推导了一种简化MLD干扰抑制方法,该简化方法通过简单的线性处理,将传统MLD干扰抑制方法中的对发射符号分组进行联合解码处理简化为对发射符号分组中的各个符号进行单独解码处理,大大减少了搜索计算量;还考虑了实际应用上述方法时,如何在干扰条件下利用等效的系统模型实现有效信道估计的问题;并对这两种基于MLD的干扰抑制方法的理论SER性能及其与基于MMSE准则的波束形成干扰抑制方法的理论SER性能之间的差异与联系进行了分析与比较。随后,针对基于MLD的干扰抑制算法以及基于波束成形的干扰抑制方法在实际应用中存在的问题,本文提出了两种基于噪声子空间投影的改进方法,分别是基于噪声子空间投影的简化MLD干扰抑制方法和基于噪声子空间投影的迭代MLD干扰抑制方法。这两种方法利用定向干扰通常功率很强这一特点,对噪声子空间投影下的等效信道矩阵进行估计,利用该估计值代替等效信道矩阵的估计值参与MLD处理,简化了强干扰条件下的有效信道估计的处理。其中,基于噪声子空间投影的迭代MLD干扰抑制方法还进一步减小了信道估计误差对干扰抑制后的系统的SER性能的不良影响,通过不断迭代累积代价函数的增量,实现了对发射符号分组内各个符号的联合MLD处理。并对这两种干扰抑制方法的性能进行了分析与比较。最后,对于上述各种干扰抑制方法,本论文进行了大量仿真,验证了这些方法的干扰抑制有效性以及相关理论分析的正确性,并研究了导频矩阵长度,干扰源的INR以及方向等参数的变化对这些方法的抑制性能的影响。并与他人共同开发了抗干扰MIMO系统实验仿真平台,在该平台上实现了本文的部分定向干扰抑制方案,进行了干扰条件下的静态图像传输的仿真实验,考察了抗干扰MIMO实验仿真系统的干扰抑制能力。本文对MIMO系统中的定向干扰抑制的探索性研究工作可为抗干扰MIMO系统的开发和研制提供参考。