预编码技术，与检测技术相伴而生，在发送端已知信道状态信息(CSI)的前提下，作为发送端的预处理技术，可以在发送端消除多用户/多天线之间的多址干扰(MAI)以及由于无线信道的频率选择性衰落带来的符号间干扰(ISI)，从而有效地降低了接收机算法的复杂性，对于下行信道，用户作为终端的情况下，由于终端尺寸大小，功耗因素以及价格等各方面的限制，把复杂的接收机算法平行的放在基站侧实现，从而降低接收机信号处理的复杂度，显得更加有意义。　　 与点到点的通信模式不同，在中继系统中，加入了中继节点后，通信过程分为两个阶段，即源节点与中继节点通信的阶段和中继节点与目的节点通信两个阶段，如果考虑源节点与目的节点之间有直达路径，则在通信过程中还有协作分集的功能。本文系统研究了中继通信系统中和直达路径两种情况下的预编码和目的节点均衡算法的联合优化，具体内容包括：　　 1)针对“有”和“无”直达路径两种情形，在论文的第三章给出了中继通信系统在多天线配置情况下，理想信道状态下的预编码算法。假定在接收端具有完美的信道估计，并且目的节点反馈给中继节点以及中继节点反馈回源节点的信道没有任何误码出现，因而是一种理想的情况。本文给出了没有直达路径情况下的两种闭式解。其中一种闭式解根据目的节点信号检测的MMSE准则，在放松约束条件的情况下给出了预编码性能的下界，尽管如此，预编码性能上仍要好于ZF/MMSE线性预编码算法；另一种方法基于AX+XB＝C矩阵方程求解，给出了最优的预编码矩阵设计，与类似的方法相比，在中断概率和遍历容量上都具有明显的增益提升。　　 另外在源节点和目的节点有直达路径的情况下，给出了两种优化方法，第一种方法利用目的节点在通信的两个阶段得到的信号进行联合均衡处理，通过联合最大比合并算法，利用迭代方法给出了最优的误码性能；另外一种方法先对每个阶段接收的信号分别进行均衡处理，然后通过调整两个支路的权重给出合并方法，与第一种方法不同的是，这里只是针对权重进行标量调整，而第一种方法由于两条路径联合优化，彼此的均衡矩阵相互包含，既有幅度调整，又有相位调整，通过分析与仿真详细地比较了二者的性能，同时也比较了“有”和“无”直达路径下，协作分集增益的比较。　　 2)本文在第四章研究了中继通信系统在信道状态信息不理想情况下的鲁棒预编码设计方法。首先给出了中继非理想信道的建模方法，然后在源节点和目的节点没有直达路径情况下，给出了源节点、中继节点和目的节点的预编码和检测算法的联合设计方法，并详细比较了鲁棒设计和非鲁棒设计的性能差别；对于源节点和中继节点有直达路径的情况，分成了两种类型：第一种类型考虑了源节点预编码和目的节点均衡算法的联合优化，此时优化问题可以归结为Schur-Concave优化问题，给出了相应的闭式解，第二种情况研究了中继节点预编码和目的节点均衡算法的联合优化，讨论了优化问题的上下界，以内点法为优化算法，利用matlab优化工具箱给出了优化问题的解。　　 3)第五章给出了认知无线网络下相应的波束赋形(看作一种广义预编码)算法，分成两种情况进行讨论。首先讨论了主基站和认知基站在多天线配置下的波束赋形和功率控制的联合优化设计，针对主用户和认知用户的不同优先级，给出了两者不同的权重设计方法，即：为了充分保证主用户的性能，主用户权重因子设置为1，而对于认知用户，通过自适应的权重设计因子适当降低认知用户的信泄噪比门限，从而为不同QoS性能需求的认知用户的接入提供了信泄噪比参考门限。第二种情况，给出了基站为多天线配置，主用户和认知用户在单天线配置下非理想信道的波束赋形设计方法，这里主用户和认知用户的信道都为非理想信道，为了分析简单起见，考虑了认知无线网络只有一个主用户和一个认知用户的情形，对应的优化问题是一个分式优化问题，通过适当变换，等价成分子与分母的独立优化，最后优化问题可以归结为凸优化问题，利用凸优化工具Sedumi给出优化问题的解，通过与相关文献的比较分析中看出该方法的优势所在。