由于长期演进(Long Term Evolution, LTE)系统采用同频组网的方式，使得同频干扰成为抑制小区平均频谱效率，特别是小区边缘用户频谱效率增长的重要因素。后续的长期演进系统(LTE-Advanced, LTE-A)引入了协同多点传输(Coordinated Multi-point Transmission, CoMP)技术，可以有效地解决LTE系统边缘用户频谱效率的瓶颈问题。多小区协作调度通过协同的方式联合多个基站完成用户调度和资源分配等工作，旨在降低用户的同频干扰进而提高小区边缘用户的频谱效率，是CoMP的一个关键研究课题。LTE下行最大支持四根天线四层传输，而LTE-A中支持发射端的天线数目最大为8，因此我们大胆预言天线数目的增大是未来无线通信的一个发展方向。然而天线数目增大时，由于天线总间距受限，天线互耦合作用不容忽视。本文中考虑耦合作用的大天线建模分析是另一个研究重点。本文首先围绕近年来CoMP中的协作调度算法展开研究，在单小区多用户调度算法研究的基础上，总结了近年来协作调度的研究现状，并在此基础上针对时分双工(Time Division Duplex, TDD)系统提出两种新型的协作调度算法，旨在进一步提高边缘用户的吞吐量以及降低算法的复杂度。其次在已有信道模型的基础上，集中讨论了天线耦合作用对信道相关性以及系统容量的影响。最后以大规模天线的摆放为出发点，对比了集中式天线系统和分布式天线系统的容量。以下为各章内容概述：第一章概述了协作调度和大规模阵列天线的相关背景和现状，并且列出了相关的基本学术概念，最后给出了本文的主要内容框架图。第二章本着进一步提高频谱效率的目的，首先以最大化多小区效用为目标提出了一种新型的用户选取准则—多比例公平准则，进而提出基于此准则的贪婪协同调度算法。仿真结果显示，相比单小区非协作系统，此算法能够有效地将小区边缘用户的频谱效率提升45.5%。第三章提出一种基于模拟退火算法的协作调度算法，此算法利用模拟退火算法来选取用户集合，能够有效避免“局部最优解”的陷阱。为了更好地给出此算法的对比分析，文中同时介绍了可以达到局部最优的一种逐用户调度算法，并给出复杂度和频谱效率的详细对比分析。仿真结果显示，所提出算法能以较低的复杂度，在小区边缘用户频谱效率上达到多小区协作调度上界性能的94.39%。第四章研究了大规模天线配置下的MIMO系统。首先给出了一般阵列天线的互耦合作用的量化建模。其次研究了互耦合作用对空间相关性的影响，并回答了固定距离内摆放天线最优数目的问题。仿真结果显示考虑均匀线性阵列时，最优天线数目只和天线总间距有关。第五章首先利用加权卡方随机变量之和的近似分布，提出一种分布式天线系统的容量计算方法。其次对比分析了分布式天线系统和集中式天线系统的容量，在分析中，我们同时考虑集中式天线系统中天线的互耦合作用。仿真结果显示，考虑互耦合作用时，合理的天线摆置方式可以适当补偿耦合作用带来的性能损失。第六章总结前面的研究工作并且指出了下一步的研究方向。