本文主要研究了中继协作通信中的编码技术,分别针对单向中继、双向中继和多向中继等不同的应用场景,提出了对应预编码或网络编码方案,具体工作如下：一、研究了放大转发MIMO中继系统中的预编码设计问题。前人工作多是基于最小均方误差准则且不考虑源节点和目的节点之间的直接链路,本文在考虑中继链路和直接链路并存的条件下,基于最大化源节点和目的节点之间的互信息,提出了一种新的源和中继联合预编码方案。所得问题是关源和中继预编码矩阵的非凸优化问题。首先提出了一种预编码矩阵可能采用的结构,接着使用Hadamard不等式,将原问题变为两个凸的子问题。给出子问题的闭式解,然后迭代求解。仿真结果表明所提的方案收敛迅速,并且该方案所提供的互信息量超过了已有的方案。二、研究了扇形中继多播系统的功率分配和中继位置联合优化问题。提出了两种传输方案：1)综合使用了空时编码和分布式空时编码；2)使用了分布式空时编码和最大比合并。论文对这两种方案进行了中断概率分析；在中断概率限制条件下,以最大化系统频谱效率为目标,对最优功率分配和中继的位置进行了优化。所采用的方法是首先对中断概率的表达式中的一部分使用拉格朗日展开进行近似,从而使原问题降维。使用遗传算法对待优化变量进行了搜索,所得结果和前面的近似解法的结果吻合。另外,仿真结果表明,所提的两种方案的频谱效率相当,均大大优于已有对比方案。三、研究了多中继辅助D2D系统中的预编码设计问题。以最小化参与协作的中继的功率和为优化目标,以各个用户的接收信干噪比必须大于规定的门限为限制条件,建立了预编码设计所满足的优化问题。通过一系列转化,将原来以块对角矩阵为优化变量的问题变成了以向量为变量的优化问题。然后使用半正定松弛方法,对松弛后的问题进行了求解,并提供了寻找原问题的解的方法。仿真结果表明,和已有对比算法比较,相同性能可以明显减少中继所使用的和功率。仿真还研究了改变中继个数和天线配置等参数对中继功率和的影响。四、研究了多天线中继系统双向通信预编码方案的设计。在该系统中,中继对基站到各个用户的下行信号和各个用户到基站的上行信号同时进行辅助传输。需要设计的目标为基站和用户的发送矩阵、中继的预编码矩阵、基站和用户的接收处理矩阵。设计中运用了信号空间对齐和网络编码的思想,在各节点的最大发送功率的限制下,当满足上行数据传输信干噪比要求时,研究了如何最大化最小的下行独立数据流的信干噪比。先将原问题分解为子问题,并使用二次锥规划求解。然后利用子问题的解,对多个矩阵变量进行了迭代优化。仿真结果表明,在不同的场景下,所提方案均能较快收敛,且性能远远优于对比方案。五、研究了如何用中继辅助D2D用户簇内各用户进行信息交互的问题。当用户数较多时,如果使用传统的放大转发方案依次对各个用户进行辅助,会造成系统频谱效率的下降。于是考虑在中继使用模拟网络编码,使中继能够同时为各个用户提供辅助,从而节省了中继占用的时隙。由于多个用户的存在,需要对模拟网络编码的系数进行优化,使最小的用户多播速率最大化,以实现中继对各用户公平的辅助。经分析,该问题是一个拟凸问题,可以通过线性规划可行性问题结合二分法求解。仿真结果表明,当用户数较多,信噪比较高时,所提方案为最优方案。当用户数较多,信噪比较低时,放大转发方案最好。用户数较少时,不用中继辅助的直接D2D性能最好。