为应对移动通信业务量的迅猛增长及无线接入终端数目的大幅增加，业界现已着手启动对下一代(5G，5th Generation)移动通信系统的定义与标准化工作。5G系统的主要目标为提供千倍量级的容量增长，而在现有网络架构及基站配置下这一目标很难完成。面对稀缺的频谱资源，大规模的网络密集化将是实现该目标的有力手段。总的来讲有两条途径:一是在现有宏蜂窝基站端采用更大规模的天线阵列，形成大规模多输入多输出（MIMO，Multiple Input Multiple Output）系统以获得更高的室外空间增益;二是通过部署大量较小覆盖半径的无线接入节点组成小蜂窝网络，以此来应对室内及室外不断增长的数据流量需求。作为5G移动通信系统的关键候选技术，这两大网络密集化方式已受到了广泛而密切的关注。本文将针对面向5G的大规模协作无线传输技术展开研究。　　首先，研究超密集网络（UDN，Ultra-Dense Network）中的集中式动态基站协作方法。通过计算机仿真对同构UDN中动态成簇算法的用户速率性能进行研究，展示了基站密度及多基站协作对用户速率的影响规律，在此基础上提出了一种集中式贪婪成簇算法，通过贪婪式地选取可最大化已选用户和速率的协作基站，该算法能够取得相较于原有分布式算法明显的平均速率提升。此外，由于用户速率受到基站与用户间相对密度的影响明显，本文还提出了一种基于正交系统资源的用户调度策略，采用最大化同一系统资源上用户间最小距离的调度准则，在空间上有效拉开相互干扰的用户及其服务基站间的距离，从而实现用户频谱效率的显著改善。　　接着，研究UDN中的分布式动态基站协作方法。考虑同构UDN中基站数大于被调度用户数一个数量级的场景，针对基站采用全向天线、定向天线及混合全定向天线的场景，分别提出了三种分布式自适应动态基站协作算法。该类算法首先根据用户信道条件及其邻居基站的活跃状态对用户进行分类，然后对各类用户采取分而治之的方式来选择具体的协作基站集合与波束赋形方案，避免了传统成簇算法由于对所有用户不加区分地根据优化目标函数进行成簇结果计算而带来的高复杂度。仿真结果表明，本文所提出的三种分布式方案均能在其各自适用场景下以较低的系统开销获得稳定的用户速率增益。　　随后，对大规模MIMO系统中三维(3D，3-Dimension)天线场景下的基站下倾角进行设计与优化。针对两小区、基站采用最大比传输(MRT，Maximum Ratio Transmission)或干扰消除波束赋形方案的场景，给出了系统遍历和速率的表达式，在此基础上考虑高信噪比场景并采用一系列合理近似，得到了系统和速率以基站天线数和下倾角为自变量的显式表达式，以及基站天线数趋于无穷时的渐进系统和速率;为求得能够最大化系统遍历和速率的基站天线下倾角取值，进一步考虑一种简化的3D天线辐射图样模型，推导出了由小区半径及基站、用户天线高度差所决定的优选下倾角取值。仿真结果表明，本文所得到的系统遍历和速率公式及优选基站天线下倾角取值准确有效，对采用3D天线的大规模MIMO系统中天线下倾角的设计具有一定指导意义。　　最后，研究抑制大规模MIMO系统导频污染的时间交替导频传输方案。在大规模MIMO系统中，当天线数趋于无穷时非相关干扰能够被完全消除。根据这一特点，时间交替导频传输方案借鉴了频率复用技术的思想来对系统中的小区进行分组，然后将不同小区分组中用户的导频传输阶段在时间上彼此错开，能够在仅利用无协作MRT预编码的条件下有效抑制导频污染、大幅提升速率性能。为研究该方案在有限天线数时的性能，本文推导了采用时间交替导频方案及迫零(ZF，ZeroForcing)收发机的大规模MIMO系统中，有限基站天线场景下的小区和速率下界及相应的等效信干噪比公式，基于此，揭示了该系统和速率下界随小区半径、基站天线数、信号发射功率及小区分组数等参数变化的规律，对系统设计具有参考价值。另外，根据对MRT预编码及ZF预编码速率公式的比较，本文提出了一种简单而高效的用户调度方案，通过将信道强度相近的用户进行同时调度能够有效提高系统的速率性能并改善用户间的速率公平性。