为了更好地支持高清视频、虚拟现实等增强型移动宽带业务,第五代(The Fifth Generation,5G)蜂窝无线通信系统将在峰值速率、用户体验速率、频谱效率、能量效率等方面进一步提升性能。其中,更密集的网络,毫米波技术、大规模天线技术和全双工技术被认为是5G系统容量提升的几大关键技术。然而,更密集的网络将带来更严重的小区间干扰;全双工系统中存在严重的自干扰;毫米波系统中可以利用大规模天线技术进一步提升链路的可靠性,但是需要在低硬件复杂度限制下消除多用户干扰。因此,5G系统中的干扰类型及强度增加,随机性增强,硬件复杂度限制增强。现有的小区间干扰协同技术不能很好地应对5G系统中干扰的新特点,干扰成为限制系统性能提升的关键因素。本文主要研究多小区系统、全双工系统和毫米波大规模天线系统中的干扰抑制和多天线预编码技术。首先,研究了协作多小区系统的干扰抑制技术和预编码问题。经典干扰对齐算法只考虑小区间干扰最小化,而忽略了有用信号和噪声的功率。本文以最大化收发机的信干噪比为准则,提出了一种新的干扰对齐算法。证明了预编码矩阵和接收矩阵可以由信号协方差矩阵和干扰噪声协方差矩阵的广义特征分解求得,因此更好地平衡了信号功率和干扰噪声的功率。仿真结果显示在中低信噪比区域,系统和速率性能得到较大改善。基于稀疏码多址接入技术,提出了一种新的干扰译码方案,使不同小区边缘上行用户共用所有频率,但是分配不同的稀疏码本,然后在基站处联合译码有用信号和小区间干扰。仿真结果显示相对于4G的部分频率复用技术,本文所提方案可以使系统获得更低的误码率。能效是5G系统重要的性能指标,本文以最大化系统的最小能效为准则,通过算法设计有效提升了系统在高信噪比区域的能效,并保证了不同基站能效的公平性。其次,研究了下行多用户毫米波大规模天线系统中的混合预编码设计。本文首先研究了系统工作在频分复用模式,且相移网络为全连接结构时的混合预编码设计,利用最小系统均方误差准则,证明了最优的模拟预编码矩阵可以由用户上行传输时主径的到达角来设计,从而降低了下行用户的反馈开销。当用户上行信号的主径到达角与基站发送的下行信号离开角之间的误差服从截断拉普拉斯分布时,推导出了用户信号功率损失的近似闭合表达式。此外,研究了当系统工作在时分复用模式,且相移网络为部分连接结构时的混合预编码设计。以最大化系统的加权和速率为准则,设计低复杂度的迭代算法,从数学上证明了其收敛性。此外,算法可以扩展到移相器为有限分辨率的情况。仿真结果表明,在低硬件复杂度和能量消耗限制下,所设计的算法有效地消除了系统中的多用户干扰,降低了系统的和速率损失。再次,研究了通过预编码设计消除异构网络的层间干扰及全双工回程链路的自干扰。微基站之间利用全双工技术进行回程信息的交换,并复用宏基站的下行频率,以提高接入网的频谱利用率。其中,全双工的微基站采用一种特殊的预编码结构,这种结构通过增加发射端射频电路的数量,增加冗余路径以提高自干扰消除能力。通过预编码设计以最大化系统的加权和速率,其中,利用不同的加权系数来调节回程链路速率和接入链路速率的相对优先级。本文提出了一种分布式迭代算法,并证明了算法的收敛性。特别地,算法的实施只需要相邻基站间交换有限信息,从而有效降低了系统开销。仿真结果显示相对于半双工微基站,全双工技术有效增强了回程链路的传输能力。性能增益取决于全双工微基站的自干扰功率、冗余路径的消除功率以及发送天线数目。最后,研究了全双工大规模天线系统的平均可达速率和功率分配方案。分别假设全双工基站与上下行半双工用户之间的信道,以及基站的发射端与接收端之间的自干扰信道分别为瑞利分布和莱斯分布。若基站收发端分别采用迫零预编码/接收和最大比传输/接收处理,推导出了系统可达和速率的近似闭合表达式。并分析了自干扰功率随天线数目、发送功率、硬件损伤程度以及自干扰信道莱斯因子等参数的变化规律。结果表明,随着全双工基站收发端天线数目的增加,自干扰功率大大降低。此外,通过设计功率分配算法,优化了上行用户和基站的发射功率,从而减小了自干扰和多用户干扰对系统性能的影响,并改善了高信噪比区域的系统和速率性能。