随着全球范围内移动用户数量的不断增加和高数据传输业务需求的不断增长,4G移动通信显然不能满足未来通信发展对频谱效率和能源效率的要求。在频谱资源日趋紧张的情形下,小规模MIMO通信系统,仅在一定程度上满足频谱效率和功率效率的需求。与小规模MIMO不同,大规模MIMO不但能更深度地挖掘空间维度无线资源,提高系统频谱利用率和系统容量,而且能实现干扰抑制,有效降低发射功率,构建绿色的无线通信系统,是未来5G移动通信的关键技术之一。而协作通信技术能抵抗无线衰落损伤,提高通信系统可靠性,且是增加系统传输速率的一种有效手段。因此,研究大规模MIMO协作通信技术无疑是面向5G的重要课题。本文围绕MIMO多天线协作通信系统展开深入的研究,特别着重分析了其误比特率和可达速率,尤其关注大规模天线阵列对这两方面性能的定量影响。主要工作如下：(1)在Rayleigh衰落环境下,研究了基于天线选择和中继选择的协作空间调制(SM)系统的可靠性能。为了提升高阶调制SM的分集性能,首先研究了具有天线选择的SM方案；然后结合传感器网络中的分级思想,进一步分析了具有天线选择的SM中继传输协议。仿真结果表明,采用具有天线选择的SM中继传输协议不仅能提升SM系统的分集性能,而且能使系统配置更加灵活。(2)在Rayleigh衰落环境下,研究了采用前向译码(DF)转发协议的三节点协作模型,并分析了中继节点分布大规模天线阵列时系统的可靠性能。首先对比分析了最大比合并(MRC)/最大比传输(MRT)、选择合并(SC)/选择传输(ST)和MRC/ST三种组合传输方案的功率效率以及天线数目对系统误比特率的影响；然后研究了SC/SM组合方案如何通过自适应功率分配优化其误比特率性能。仿真实验表明,较低复杂度的SC/ST方案最具实践性,而大规模中继SC/SM方案的功率分配能够有效改善系统的误比特率性能。(3)在相关Ricean衰落环境下,研究了只基于视距分量的大规模SIMO系统的可靠性能。为了有效降低信道估计的沉重负担,首次提出了只基于视距分量的MRC检测方案,分析了空间相关性和大规模天线阵对误比特率的影响。然后将上述分析推广到频率选择性信道以及具有同信道干扰的情景中。最后研究了单中继分布大规模天线的协作系统模型,分析了功率收缩规律以及中继天线数目对误比特率的定量影响。仿真结果显示,天线阵列的空间相关性对无线系统反而是有利的,可以有效改善系统的误比特率性能。(4)在Ricean衰落环境下,研究了只基于视距分量的大规模MIMO-波束赋形(BF)系统的性能。为了有效减少用于估计信道状态信息(CSI)的开销,将散射分量视为干扰,首次提出了只基于视距分量的发送胺收BF方案。在没有同信道干扰的情况下,首先分析了可达速率、发射端和接收端的天线数、发射功率之间的内在关系,并显示新的BF方案与具有完美CSI的BF方案具有同样的渐近可达速率。然后将上述分析结果推广到具有同信道干扰的情景以及具有空间相关性的DF协作中继系统中。仿真结果表明,即使在天线数目不是很大的情况下,实际可达速率也能够相当接近理论极限速率。