在发射端和接收端都采用多天线的多输入多输出(MIMO)技术是未来移动通信系统的关键技术之一。然而,当把MIMO技术应用到多小区系统时,由于受到来自相邻小区同频干扰的影响,多小区MIMO系统变为了一个干扰受限系统。本文调研了各种多小区系统中干扰抑制方案,包括传统的干扰抑制技术、先进的接收技术、先进的发送技术和小区干扰问题的关键技术,比较了它们的优劣。其中分布式天线结构和多小区基站协作技术被认为是关键的战略性解决方法。本论文的主要工作即是针对下行链路分布式天线MIMO多小区协作系统中的干扰抑制问题展开研究。研究的内容主要包括以下几点。目前已经提出了多种分布式小区结构,本文针对其中一种较为普遍的结构,研究分布式天线多小区系统中下行链路的干扰问题。并且将基站协作通信和分布式天线技术相结合,在适于分布式天线结构的每个天线功率受限的约束下,通过最大化最小的用户频谱效率,保证用户频谱效率的公平性。本文参考凸优化理论,运用内点法的一种对数障碍函数法,推导了此优化问题的数值迭代公式,并给出了此算法的初始值。同时提出一种用户天线子流选择关闭算法,改进了传统的基站协作迫零波束成型技术在用户数接近最大值时频谱效率急剧下降的缺陷。仿真表明,基站采用分布式天线并且用户采用天线子流选择关闭技术的多小区协作通信系统,可以获得更高的用户频谱效率,保证每个小区平均频谱效率呈现近似单调递增的趋势。数字无线通信系统的误码率直接决定了系统的服务质量的好坏,是衡量一个系统性能的最终标准。本文考虑到分布式天线的特点和用户速率公平性的要求,利用无编码正交幅度调制方式下误码率相对于信噪比的近似公式与容量公式相似的特点,提出一种在各发送天线功率受限下,用户的正交幅度调制子流速率和功率分配算法,最大化最小用户速率,同时保证误码率达到目标值。由于近似误码率公式存在误差,进而提出一种迭代算法,对各子流的功率进行微调,为用户的每个子流分配一种正交幅度调制速率,进一步提高频谱效率。另外,由于受到模数转换器分辨率和算法复杂度的限制,往往难以做到非常高阶的调制,本文限制了最大调制速率,这样该子流节省下来的功率,可以分配给其他的子流,提高其他子流的速率,减轻最大调制速率的限制对用户速率的影响。仿真结果表明,在满足目标误码率要求下,该算法能够保持最优的平均速率,提高最小用户速率,保证用户间的公平性。以上的分析都是以假设系统的发送端和接收端都已知精确的、理想的信道信息为前提,然而实际系统中的信道往往是非理想的。首先由于信道估计算法、序列长度、干扰、噪声、反馈时延等因素的影响,信道估计存在误差,本文分析了最小均方误差信道估计算法下,信道估计误差方差的统计特性,研究了在信道估计误差存在下,系统频谱效率和用户公平性的损失;其次,为了简化分析,目前的研究成果大都基于忽略信号传播时延的假设,而对于路径彼此相对时延较大的多天线多小区系统,尤其是分布式天线系统,信号的时延将会严重影响系统的性能,本文针对实际系统中信号的传播时延,采用通过提前各个发送天线信号的发送时间,将有用信号到达用户的时间对齐的策略,分析了小区用户间异步干扰的特性,给出了一个异步传播干扰的示例,推导了多小区MIMO多子流系统的频谱效率下界公式,并给出了多天线多小区系统中异步干扰对系统频谱效率和用户公平性的影响。