随着无线数据流量和用户终端数目的指数级增长,新一代移动通信系统对数据速率、频谱效率、覆盖范围等关键指标提出了更高的要求。大规模多输入多输出(MIMO, Multiple-Input Multiple-Output)传输作为新一代移动通信的关键技术之一,能够在同一时频资源上服务更多用户,并且具有数据速率更高和功率消耗更低等优点,但是其仍然有许多亟待解决的问题,比如下行预编码优化设计、复杂度高、信道信息不理想等问题。针对这些问题,本文研宄无线通信大规模MIMO传输技术,主要工作内容如下：1、研究了多用户MIMO系统模型和多用户MIMO预编码、协作多点传输技术等内容,重点讨论了迫零(ZF, Zero Forcing)预编码、最大比发送(MRT,Maximal-Ratio Transmit)预编码、最小均方误差(MMSE, Minimum Mean Square Error)预编码,同时研究了协作多点传输技术的分类、与MIMO的异同以及协同波束成形技术的分析等等。Matlab仿真结果表明在低信噪比(SNR,Signal to Noise Ratio)时,MMSE预编码性能明显优于ZF、MRT预编码；在高SNR时,ZF、MMSE预编码性能相近;另外在天线数变多的时候,ZF、MRT、MMSE预编码性能之间的差距也在减小等等。2、研究了多小区协作大规模MIMO传输方案的优化设计,并以单基站功率约束下的最大化最差信干噪比(max-min SINR, Maximum the Minimum Signal to Interference plus Noise Ratio)为优化目标。首先根据上下行对偶理论,将原始的下行非凸优化问题转化成等价的上行解耦优化问题,然后提出了有限系统中需要依赖瞬时信道信息瞬时更新上下行功率的算法,并且该算法中下行功率不需要迭代,可由扩展耦合矩阵直接计算得到。为了解决功率需要瞬时更新的问题,针对大规模MIMO系统,依据随机矩阵理论,提出了只需要依赖统计信道信息更新上下行功率的算法,同时波束矢量只需要根据获得的上行功率以及可获得的本地瞬时信道信息直接计算得到。仿真结果表明了所提算法的可行性和有效性。3、针对上述多小区协作大规模MIMO传输方案优化设计中存在的大维矩阵求逆问题,为了降低大维矩阵求逆的复杂度,由截断多项式的思想给出了由有限项数表示的MMSE波束矢量,同时为了避免求解有耦合变量的下行优化问题,利用截断多项式表示的MMSE波束矢量给出了等价的上行信干噪比表达式,进而提出了低复杂度波束矢量算法,另外通过引入关于变量t的随机函数,使得求解截断多项式系数的算法只需要依赖统计信道信息。仿真表明该算法当多项式阶数很低时,就可达到很好的性能,并且该阶数不随系统维数的增大而变化,同时若需要保持该算法与MMSE波束矢量算法的性能损失不变,那么阶数需要随着SNR的增大而增大,但是该阶数相对于系统维数来说,仍然是很小的。4、在上述工作的基础上,进一步考虑信道信息的非理想性,研究了信道模型存在信道估计误差时的多小区协作大规模MIMO传输方案优化设计。首先以单基站功率约束下含有信道估计误差的大规模系统的max-min SINR为优化目标,提出了在有限系统中需要瞬时信道信息进行功率更新的算法,同时针对大规模MIMO系统提出了只需要依赖统计信道信息更新上下行功率的算法；另外为了解决信道模型存在信道估计误差时的大维矩阵求逆复杂度高的问题,利用截断多项式的思想以及引入随机函数的方法,提出了将大维矩阵的求逆转化为阶数可控制的多项式并且只需要依赖统计信道信息优化多项式系数的低复杂度波束矢量算法。Matlab仿真表明,信道存在估计误差时,max-min SINR优化算法以及低复杂度波束矢量算法的有效性,并且即使信道质量很差,该算法仍然能达到较好的性能。