随着无线通信的发展,要求无线网络中能够容纳更多用户,系统容量更大,用户服务质量更好,未来无线通信系统的目标是以最低的频谱、功耗和硬件复杂度要求提供各种高品质的高速率服务。在多小区MIMO系统下行链路中,干扰问题已经成为无线通信中多天线技术提升系统性能的一个主要障碍,一个基站同时服务多个用户,会存在小区内干扰,同时用户还会受到来自相邻小区的干扰,除此之外,还有噪声干扰。如何对系统作收发机作优化,设计发射端预编码矩阵和接收机已经成为通信系统的难题之一。传统方法通常假设CSI没有误差,然而在实际情况中,完美的信道估计是不可实现的,有误差的CSI会显著降低系统的性能,所以不能直接套用传统算法。本文讨论的正是在多小区MIMO系统下行链路中,当信道估计误差在一定有界区域内,针对一系列优化问题,以系统MSE和发射功率为性能指标,提出相应迭代算法,利用凸优化工具包求解,得到最优收发机设计方案。第一部分介绍了课题的背景与研究意义,对本论文所做的研究工作作了概述,指明了研究方向,描述了鲁棒性优化及凸优化问题,为后面的工作提供了理论基础。第二部分针对下行多小区MIMO系统,在有信道误差及发射功率有约束的情况下,以减小用户接收信号MSE为目标,提出了一种基于凸优化理论的鲁棒性传输设计方案。信道误差是有界的,所以系统的MSE也将在一个不确定区域内,最小化此范围内的最差MSE值,可以得到最优预编码矩阵和接收机,从而解决一系列MSE优化问题,包括用户总MSE最小化、用户最大MSE最小化。对于CB场景的优化可以直接利用单小区MIMO场景的方法进行扩展得到；而在JP传输方式中,由于每基站功率单独约束,直接优化困难,本文以最小化用户接收信号MSE的上界为目标进行优化设计。仿真结果表明,当CSI有误差时,对比传统的优化设计方法,基于凸优化的收发机设计方案能够有效地提高系统性能,降低MSE。在第三部分中,本文换一个角度,在有信道误差及系统MSE有约束的情况下,研究以系统传输功率为目标的鲁棒性传输优化,并提出了基于凸优化理论的传输方案。同样,针对CB场景,可以直接利用单小区MIMO场景算法扩展得到,而针对JP场景,先对MSE函数作缩放,再进行优化设计,得到最优收发器设计方案。仿真结果表明,对比其它相应算法,本算法性能有显著提高。