多用户多入多出(Multiple-Input-Multiple-Output，MIMO)技术和正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)传输技术已经成为下一代宽带无线通信系统的必选关键技术。尽管这两项技术已经在很多场景中获得了应用，充分获取它们给系统所带来的革命性的性能提升则需要解决一些关键性的难题，如：多天线广播信道对发送端信道信息的依赖性；基于正交频分多址的传输技术对硬件非理想特性的敏感性等。针对以上问题，本论文的第一部分以有限反馈下的多天线广播信道作为研究对象，在非理想信道信息下的信道容量，提高吞吐量的发送方案和低复杂度、低反馈量的用户调度策略等方面取得了一些有一定理论价值和实现意义的成果；本论文的第二部分以基于正交频分多址的传输技术为研究对象，对其部分增强技术如载波间干扰抑制技术和多天线增强技术等进行了研究，在提高多址传输技术性能方面进行了一定程度的探索。本论文的主要贡献体现在以下两个方面：　　 在多天线广播信道方面：第一，提出了一个发送端非理想信道信息下多天线广播信道容量的闭合近似表达式，并在此基础上获得了各向同性网络中单用户MIMO与多用户MIMO的模式切换算法及切换区域，以及各向异性网络中用户维度的功率分配算法；第二，提出了一种MIMO OFDMA系统中的基于频域多次训练的随机(多)波束成型发送方案，在提高系统吞吐量的同时进一步改善了用户数较小时的系统吞吐量性能；第三，提出了一个多天线广播信道中的基于反馈门限和正交性门限的双门限用户选择算法，能够在反馈量与实现复杂度之间进行折衷，并针对其复用增益不足的问题提出了两个增强算法。　　 在多址传输技术方面：第一，提出了一种OFDMA系统中基于子载波符号调整的载波间干扰抑制技术，通过发送端频域符号预编码对载波间干扰进行了抑制;第二，基于DFT-S-GMC系统，研究了发送分集、复用和空分多址等多天线增强技术在其中的应用，对部分技术造成的峰均比损害和复杂度进行了分析，最后通过仿真对DFT-S-GMC系统中的多天线增强技术的性能进行了验证和评估。