过去十数年，多输入多输出(MIMO)技术以不增加额外的带宽和功率消耗显著提高无线通信系统的频谱利用率而被广泛地研究。随着智能手机普及，通信系统需要更高的传输速率和可靠性，因此未来通信系统需满足以下要求：(1)在同一时频资源上服务更多用户；(2)更高的数据速率和通信可靠性；(3)更低的功率消耗。系统服务更多用户会产生更多干扰，从而影响系统可靠性，而更高的数据速率需要较大的功率消耗，以上需求相互矛盾，很难实现。2010年Marzetta提出的大规模MIMO技术由于可以有效抑制小区间干扰，得到了广泛地关注。大规模MIMO技术指基站配备数目庞大的天线(一般100或几百根天线)，移动终端采用单天线接收的通信方式。研究表明，大规模MIMO系统具有同一时频资源上同时服务更多的用户、更高的数据速率以及更低的功率消耗等优点，但在多小区导频复用的情况下，大规模MIMO系统性能主要受限于导频污染问题。因此，本文主要对大规模MIMO系统的频谱效率和导频污染问题进行了研究分析。第一章主要介绍了本课题方向的研究背景、研究现状和存在的问题，及本文的结构安排。第二章主要阐述了大规模MIMO时分双工(TDD)系统的基本模型，并重点分析了大规模MIMO TDD系统产生的导频污染问题及对系统性能的影响。仿真结果表明，导频污染很大程度地限制了大规模MIMO TDD系统的性能。第三章主要研究了单小区环境下大规模MIMO系统下行链路数据传输的频谱效率，推导了理想信道状态以及信道估计状态下数据传输速率公式，并进行简化得到近似解。最后，通过仿真结果验证了理论分析的正确性。由获得的近似解可以分析不同方式下系统的频谱效率，避免了耗时的计算机仿真。第四章主要研究了相关信道下大规模MIMO系统的性能，并分析了不同相关系数对系统性能的影响。仿真结果表明，信道的相关性变大时，大规模MIMO系统的性能有所下降，特别是信道相关性超出一定范围，系统的性能衰减加剧；而信道相关系数小于一定数值时，增加基站的天线数目能较好地提高系统的性能，而大于此数值时，增加天线数目并不能较好提高系统的性能。第五章主要研究了一种新的预编码方案，即导频污染预编码方案，推导出2个小区存在导频污染情况下，采用该算法的系统频谱效率，并分析了大尺度衰落估计误差对系统性能的影响。仿真结果表明，该方案能够很好地解决导频污染对系统性能的抑制，以及大尺度衰落估计误差使得导频污染预编码方案性能变差，限制系统性能进一步提高。第六章为本文结论，并指出了不足以及需进一步研究的方面。