未来的无线通信系统需要更可靠的、频谱效率更有效的传输技术，以达到更高的传输速率。目前提出的改善频谱效率的方法包括多天线技术、协作网络、自适应调制与编码以及跨层设计等技术。其中，采用链路两端采用天线阵列的多输入多输出（Multiple Input Multiple-Output, MIMO）技术能够显著的提高频谱利用效率。通过增加空域维度，相互独立的多数据流可以同时通过不同的天线传输，这称之为空间复用。此外，MIMO技术还能够提供发射分集增益和接收分解增益，利用信道的多径特性能够显著的提高链路质量。MIMO系统中不同的天线通过具有不同的多径特性或者不同的衰落特性，使得MIMO技术在未来无线通信系统中具有突出的优势。　　在目前的蜂窝通信系统中，MIMO技术在系统的上下行链路中主要以多用户MIMO（Multi-user MIMO, MU-MIMO）的形式存在，并且上链路用户与下行链路用户通过不同的频率或者时隙与基站进行通信，即频分双工（Frequency Division Duplexing, FDD）和时分双工（Time Division Duplexing, TDD）。这两种传输模式称为半双工（Half-duplex, HD）通信。由于半双工通信系统需要对时间资源或者频率资源进行分割，其会降低频谱利用效率。因此，与半双工系统相比，全双工（Full-duplex, FD）系统有潜在的优势，并且已在信息论、信号处理、硬件测试以及实际应用等多个方面得到了研究验证。更进一步，全双工通信系统与5G技术能够实现互补，并且能通过多种方式应用到无线通信系统，不仅能够提高链路容量、增强干扰协调，还能够支持全新的中继协议。　　全双工系统的主要问题是节点同时同频收发产生的强自干扰。强自干扰会使得接收机的前端饱和，同时由于受到接收链路ADC的动态范围的限制，期望信号的量化噪声也会增加，所以很难对期望信号进行解码。为了成功消除自干扰，研究人员从理论角度和实验角度提出并设计了多种干扰消除技术。这些研究工作使得全双工技术在短距离通信以及微蜂窝通信中得以应用。典型自干扰消除技术包括数字域干扰消除与模拟域干扰消除。值得一提的是，还有一种更复杂的干扰消除技术称之为空域干扰消除技术，并且得到了广泛的关注。空域干扰消除主要通过天线选择、线性预编码、空空间投影以及最小均方误差滤波器（Minimum Mean Square Error）等实现。空域干扰消除的本质是利用收发机配备的多天线所提供的空间自由度完成干扰消除，在众多空域干扰消除手段中，线性预编码技术最具研究价值。尽管有多种自干扰消除技术，但是由于硬件和算法的限制，仍然有部分与噪声功率量级相当的自干扰残留。　　为了在下一代无线通信系统中使用全双工技术，有必要先回答如下两个问题：首先，全双工技术带来的增益是什么，其次，怎样得到这些增益。而这两个问题的答案与实际的系统息息相关。为了能更好的展示全双工技术，本文将考虑单小区全双工多用户MIMO系统这种更具代表性的应用场景。　　因此本文的主要工作是在给定功率限制条件下，设计单小区全双工多用户MIMO系统的预编码方案，以提高系统的频谱利用效率。首先，需要面临自干扰消除后的残留自干扰的影响；其次，还要考虑上下行链路间都存在的多用户干扰（Multi-user Interferences, MUI）；最后，上行链路用户的传输还会对下行链路用户造成同信道干扰（Co-channel Interference, CCI）。为了消除掉这些干扰的影响，使用次优、低复杂度的线性传输方案十分有必要，其中典型的次优低复杂度线性传输方案包括：迫零（Zero Forcing, ZF）预编码、块对角化预编码（Block Diagonalization, BD）、ZF接收机（ZF-R）、BD接收滤波器等。但是，这些方案会受到基站天线数以及用户信道的限制。简单的说，对于下行链路传输， ZF与BD预编码的都需要基站天线数大于用户天线数的和。只有满足这一条件才能提供足够的自由度，进而通过迫零等方法使得用户处的MUI为零。此外， ZF预编码方案在求解预编码参数的时候还忽略了噪声的影响。　　具体来说，由于全双工通信是下一代无线通信中的一种重要传输模式，且下一代通信系统中用户端天线数量将显著的提升。但是ZF与BD方案在某些应用场景下无法完全利用MIMO系统的信道自由度。但是这些传统方案的缺点可以通过了利用信泄比（Signal-to-Leakages Ratio, SLR）的方法克服。泄露的干扰信号指的是发射给目标用户的期望信号被其他用户接收到的部分，泄露的干扰信号的功率则用来衡量干扰的严重程度。这种方法的目的是使得每个用户的期望信号的功率最大的同时，保证此用户泄露给其他用户的功率最小。进一步，所有用户的预编码变量都可以利用信泄噪比（Signal-to-Leakage-and-Noise Ratio, SLNR）为衡量标准同时进行优化。这个衡量标准可以将耦合的优化问题分解，并且可以得到闭合解。因此，在全双工通信系统中采用SLNR的预编码方案能够显著的提高系统的频谱利用效率，并且不受天线数目的限制。　　此外，由于全双工MU-MIMO系统在独立同分布瑞利衰落信道下频谱效率优化问题已经被深入的研究。但是，在实际通信系统中，发射即与接收机之间可能存在直射链路（Line-of-Sight, LOS）。尤其对于短距离或者毫米波通信，衰落信道下存在直射路径时，通常建模为莱斯衰落模型。在数学上，经过莱斯衰落的MIMO随机信道矩阵是一个均值非零的复高斯矩阵，而经过瑞利衰落的MIMO随机信道矩阵的均值为零。所以瑞利衰落实际上可以看成莱斯衰落的特殊形式。莱斯衰落模型有直射路径和非直射路径（Non-Line-of-Sight, NLOS）组成。为了更符合实际系统，评估莱斯衰落下的系统容量更加重要。综上，本文将针对莱斯衰落信道进行研究。　　在无线通信系统中，信道状态信息（Channel State Information, CSI）代表着信道链路的特性。这一信息描述了信号从发射机到接收机的传播情况，其中包括散射、衰落以及信号功率随着传输距离的衰减。CSI信息使得根据当前信道自适应传输成为可能，这对于多天线系统达到更高的传输速率十分重要。对于本文所研究的系统模型，我们假设基站端与用户端都知道完整的信道状态信息。对于基站端，其可以直接获得上行链路用户的信道状态信息。而对于下行链路用户的信道状态信息，其有两种获得方式。在第一种方式中，下行链路用户可以估计出CSI信息然后通过反馈链路将其传输给基站端，此种方案需要额外的反馈链路并且CSI的质量与反馈信道容量有关。而对于第二种方式，当信道的相干时间远大于信号传输时间时，基站可以通过信道的相互性直接对信道状态信息进行估计，而此时则无需额外的信道开销。　　对于FD-MU-MIMO单数据流传输系统，只考虑自干扰与MUI而忽略CCI时，本文提出了基于SLNR的预编码方法。对于下行链路，设计了应用在莱斯衰落信道下的基于SLNR的预编码方法。对于上行链路，在设计基于SLNR的预编码方法时利用了自干扰加噪声的协方差矩阵信息。本文所研究的系统模型在接收端采用抑制滤波器对干扰进行消除。预编码问题首先建模成了每个用户的SINR最大化问题。但是由于复杂度以及多个目标函数的耦合特性，使得这一优化问题无法求得闭合解。然而从泄露的干扰信号的角度出发，可以将耦合的优化问题解耦合，并且得到闭合解。这样，通过对每个用户采用广义特征值分解（General Eigenvalue Decomposition, GECD）即可得到使得SLNR最大化的最优预编码器。进而可以分别得到上下行链路的和速率，然后，将上下行链路的和速率相加即可得到FD-MU-MIMO系统的频谱利用效率。　　对于只考虑自干扰与MUI时的FD-MU-MIMO多数据流传输系统，同样也利用基于信泄噪比的预编码思想。与单数据流传输时一样，当利用多数据流传输时，对于下行链路，可以直接设计基于SLNR的预编码方法，对于上行链路，在设计的基于SLNR的预编码时也需要利用了自干扰加噪声的协方差矩阵信息。但是在设计预编码之前，需要利用信道状态信息以及接收端的匹配滤波器对耦合的多数据流进行解耦合。这样通过引入额外的设计约束条件，在功率受限时的优化问题可以建模为所有用户的SLNR同时最大化问题。目标函数同样可以通过GEVD进行处理。带入得到预编码参数，既可以得到多数据流传输时的FD-MU-MIMO系统的频谱利用效率。　　对于本文所研究的FD-MU-MIMO系统，当自干扰、MUI以及CCI同时存在，且每个用户处于单数据流传输状态时，本文提出了一种改进的基于SLNR的预编码方案。对于下行链路，且给定接收机结构时，本文设计的预编码方案通过在基站端利用CCI的协方差矩阵信息，能够在抑制同信道干扰的同时使得下行链路的和速率最大化。接收端则采用了主分量分析（Principal Component Analysis, PCA）白化滤波器来抑制干扰。白化矩阵可以通过对同信道干扰加噪声的协方差矩阵进行特征矢量分解后得到。此外，对于上行链路，设计了利用自干扰信息的基于SLNR的预编码方案。接收端同样利用了主分量分析抑制滤波器来消除干扰，并且在发射端设计预编码时只采用自干扰加噪声的协方差矩阵。优化问题建模成使得所有用户的SLNR同时最大即可得到最优的预编码参数。利用GEVD处理即可对优化问题进行求解。进而可以得到整个系统的频谱利用效率。　　当用户配有多个天线，且利用多数据流传输，同时还存在自干扰、MUI以及CCI时，本文提出了一种利用CCI的改进的基于SLNR的下行链路预编码方法。系统在接收端采用白化滤波器对干扰进行抑制，并且在预编码时使用了CCI加噪声协方差矩阵。对于上行链路，同样采用了利用自干扰加噪声协方差矩阵信息的预编码方法。为了将多数据流解耦合，上下行链路的接收端都采用了一种简单的解码方案。而目标函数同样利用GEVD进行处理。通过带入得到的预编码参数，可以得到分别得到上下行链路的和速率，进而得到系统的频谱利用效率。本文所研究的全双工系统的频谱利用效率都将与半双工系统进行对比。半双工MU-MIMO系统的频谱利用效率是在没有自干扰时的上行和速率和下行和速率的总和的一半。　　仿真结果显示，当基站天线数固定且基站发射功率和用户功率都不是很大时，与半双工MU-MIMO相比，全双工MU-MIMO能够显著的提升系统的频谱利用效率。这是因为当发射功率较小时，系统内的CCI与自干扰不是很大。此外，对于每个用户处于多数据流传输的情况，当固定基站的天线个数，增加下行链路每个用户的天线个数时，采用SLNR预编码时的频谱效率也会随之增加。但是，对于BD预编码与ZF预编码，当基站采用相同的天线个数，随着用户天线数的增加，频谱利用效率将会下降。这是因为这两种方案存在维度限制，无法利用所有的信道自由度，每个用户只能采用单数据流传输。所以，很显然会带来容量损失。当自干扰以及同信道干扰的功率很小时，全双工MU-MIMO系统在莱斯衰落信道下的性格更好。