在蜂窝移动通信系统中,系统设计要解决的根本问题是对抗无线信道中广泛存在的衰落与干扰,并在有限的时间资源、频率资源和发送功率上提高系统传输的有效性和可靠性。作为解决信道衰落问题和干扰问题的的关键物理层技术,MIMO (Multiple Input Multiple Output)技术和协同通信技术近年来成为无线通信领域的研究热点。MIMO技术将空域自由度引入到信号处理中来,大幅提升了通信系统的容量和可靠性。而协同通信的本质是通过协作的方式引入一个新的信号处理维度并以此为代价提升用户(特别是小区边缘用户)的通信质量。通过基站之间、移动台之间或者基站与低功率节点之间进行不同程度的协作,它能获得比传统通信系统更大的覆盖范围、更高的系统容量以及更好的抗干扰性能。协同通信能与MIMO技术有效结合起来,它为MIMO的应用提供了更宽阔的平台和更有挑战性的场景。协同通信中的MIMO技术研究是本论文的核心。本文主要研究中继协同系统和基站协同系统中的MIMO技术。本论文首先概述了MIMO的基本概念以及常用的多用户MIMO预编码技术。然后介绍了协同通信的概念以及协同通信中MIMO技术的研究现状。这些知识是本论文后面章节研究内容的基础。本文的第二章研究了基于有限反馈的双向中继协同通信系统的预编码设计方案。在双向中继系统的上下行信道之间不具有信道互易性时,中继节点需要通过有限反馈信道来获得用于预编码设计的下行信道信息,然而量化误差和反馈时延的存在大大降低了预编码的性能。本文分别在单流和多流传输的场景下对带时延的有限反馈进行统计分析,并提出了具有鲁棒性的预编码算法,用以对抗信道不确定性。本文按照用户数据是否存在于所有协同基站将基站协同通信划分为多基站联合发送和多基站协同传输两种方式。本文分别在第三章和第四章中给出了两种多基站联合发送场景下的发送端处理方案,在第五章中提出了一种多基站协同传输的场景下的协同预编码方案。在第三章,本论文提出了多基站闭环开环协同通信技术,该方案采用了多基站联合发送的协同思想,将基于闭环处理的预编码技术和基于开环处理的空时编码技术结合起来,获得了较高的分集增益。通过引入多基站闭环开环等效信道,将传统的空频块码的译码算法推广到多基站场景中,简化了接收端处理。它能以较小的反馈量获得跟传统的多基站联合发送方案可比的性能,并优于小区间干扰抑制算法。第四章研究了多基站联合发送场景下的多用户预编码设计,提出了一种低复杂度的协同预编码方法。该算法采用了基于多基站等效噪声标准差的信道扩展技术以及LQ分解技术。算法设计中考虑了多基站场景的特性,较好地平衡了多基站路径损耗、小区内和小区间用户干扰以及噪声等因素对性能的影响,提升了多基站协同系统的性能。本文第五章研究了干扰广播信道下的协同多天线信号处理问题,提出一种基于信号泄漏和最小均方误差的预编码算法,它属于多基站协同传输的场景。该方案将干扰广播信道中的多基站功率约束之间相互耦合的情形转换为类似于单基站时的处理方式,从而得到预编码矩阵的闭式解,避免了传统算法中求拉格朗日算子所需的搜索算法。上述内容主要为系统发送端的处理方法。本文的第六章介绍了接收端高维度(8发8收)MIMO检测技术的硬件设计和实现方案。论文详细阐述了MIMO检测模块的算法设计和优化、时序设计以及硬件实现的方法,并介绍了当系统频谱效率需求由15bps/Hz增加到30bps/Hz时该模块应对资源超标的情况所作的改进及优化。该设计具有较强的可移植性,能同时适用于单基站系统和协同通信的场景。