大规模MIMO系统是指基站端配置数十根,甚至上百根的天线阵列,并在相同时频资源内为多个用户提供服务。与MIMO技术相比,大规模MIMO技术不仅可以获得更大的复用增益,而且能够显著地提高频谱效率和系统容量,已经成为未来移动通信系统中的关键技术之一。本文围绕FDD大规模MIMO系统中下行链路的空分复用技术展开研究,重点关注联合空分复用(JSMD)方案的实现与优化,以及空间调制(SM),端口调制(PM)技术的应用与扩展。首先,本文对多天线系统中的空分复用技术进行了总结。简述了开环、闭环模式下的编码方式,包括空分复用技术和空间分集技术,以及常用的预编码算法；并总结了大规模MIMO系统中CSI获取的方法,重点探讨了FDD系统中的反馈方式。其次,本文分析了JSDM传输方案在不同场景下的实现方法。介绍了单环模型中JSDM方案的系统模型和编码方式；并针对SCM中的一般场景,设计了基于接收端波束形成的分组方法,给出了一种适用于SCM一般场景的改进的JSDM (IMP-JSDM)方法。仿真结果表明,JSDM传输方案能够大幅度地降低基站获取下行信道状态信息(CSI)的开销,可适用于FDD大规模MIMO系统,同时也验证了IMP-JSDM中针对SCM一般场景提出的分组方法的有效性。然后,本文阐述了SM的系统模型和编码机制。理论推导了SM的系统容量,研究了SM系统现有的检测算法,并对比分析了各种检测算法的复杂度。同时针对SM系统提出了一种新的基于角度排序(ABO)的检测算法。仿真结果表明,ABO检测算法能够兼顾算法复杂度和系统的BER性能。此外,本文还研究了PM在多用户场景中的应用。将单用户下的PM预编码扩展至多用户大规模MIMO系统中,基于二级预编码的思想,给出了多用户PM系统下的预编码设计方法。仿真结果表明,与传统的多用户MIMO预编码相比,多用户PM预编码具有更优的ABER性能,且显著地降低了基站获取下行CSI的反馈开销。