在现有的蜂窝网络中引入多个中继形成一个虚拟阵列相互协同工作，利用协作分集可以取得提高频谱效率、增大覆盖半径和节省无线资源等诸多优势。将MIMO、OFDM、分布式资源分配和SDMA等技术引入无线中继通信系统的收发机设计中可进一步提升系统整体性能。通过利用网络编码，双向中继协议可获得比单向中继协议更高的频谱效率。本论文的研究内容包括单向/双向中继系统的性能分析、多中继网络的协议设计和中继选择、双向中继系统中收发机的优化设计和资源分配算法以及多播中继系统中的网络编码性能分析。论文的主要贡献列举如下：　　 1.研究了不同参数Nakagami-m衰落信道下两跳固定增益AF中继系统的性能，分别考虑了无协作分集和有协作分集这两种情况，通过基于概率密度函数的性能分析法推导了无协作分集时的系统中断概率和平均误符号率（ASER）的闭合表达式，进一步通过基于矩生成函数的方法推导了有协作分集时的系统中断概率和ASER表达式以及接收信噪比的n阶矩闭合表达式。所推导的各种情况下的解析解与数值仿真结果吻合良好，有协作分集时系统性能均优于无协作分集时，通过对信道不均衡时的性能分析发现，中继前后两跳的信道质量对系统性能的影响是不相同的。　　 2.研究了并行多中继网络中的AF协议及分布式空时码，设计了一种新颖的满复用时隙放大转发（FSAF）协议，通过充分利用多中继的空间分集，有效地提升了系统性能。针对FSAF的一种简化协议DSAF，从信息论的角度给出了系统互信息表达式，该协议相比于其他类型的AF协议在中断概率性能上有明显提升。为使该协议更加实用化，还设计了几种多中继优化选择策略，并探讨了一种简化解码复杂度的全分集的分布式线性疏散空时码（DLDC）在FSAF协议中的应用，所提出的多中继优化选择策略和DLDC分别在互信息量和误符号率性能上显示了其相比于其他传输策略的优越性。　　 3.研究了并行多中继通信网络中的中继选择和功率分配算法。为了优化协作通信系统的资源配置，提出了集中式和分布式的中继选择算法，有效地减少了信道反馈信息，在保证传输质量的前提下，能充分利用协作分集和选择分集获得较大的系统和速率。通过利用新颖的功率分配算法进一步实现了约束的总功率在信源和中继上的最优分配。分布式中继选择通过利用信道的调和平均值门限，与最优功率分配相结合时，能以较低的系统复杂度获得最优的传输性能。　　 4.研究了多天线AF双向中继系统中的中继处理与资源分配策略，根据最小和均方误差准则，以较小的复杂度得到了均方误差最优的中继处理矩阵的闭合表达式。探讨了OFDM双向中继系统的资源分配策略，提出了实现复杂度低的分层子载波配对策略和功率优化分配策略。所设计的中继处理策略在系统和速率和误码率性能上均明显优于其他双向中继策略，且性能随着中继天线数的增加而提升，结合功率分配的分层子载波配对策略能明显提升系统和速率，性能接近最优策略。　　 5.研究了基于多用户MIMO网络的OFDM.AF双向中继策略，在第一时隙的多址传输中采用OFDMA，在第二时隙的广播传输中采用OFDM/SDMA，通过利用频率分集和空间分集提高了系统性能。针对双向中继传输的特点，采用两种方法在每个子载波上设计了中继波束形成矩阵，分别基于信漏噪比准则和块对角化迫零准则。利用割集理论推导了该双向中继网络的容量域上界。所提出的双向中继策略在系统和速率性能上优于其他三种中继策略，并能逼近所推导的容量域上界。　　 6.研究了解码转发MIMO双向中继系统的传输策略与性能，分别设计了两种信道状态信息（CSI）情况下的系统传输策略，并推导了系统中断概率和ASER的闭合表达式。当已知完全CSI时，采用最大比发送-最大比接收技术设计发射和接收波束形成向量；当未知完全CSI时，设计了基于有限反馈的传输策略，并采用随机向量量化码本和Grassmann码本进行数值仿真验证。所设计的双向中继传输策略的中断概率和ASER性能明显优于其他策略，所推导的闭合表达式能准确地表征系统中断概率和ASER性能。　　 7.研究了Nakagami-m衰落信道下多播中继系统中网络编码的中断概率性能。分别采用复数域网络编码（CFNC）和放大转发网络编码（AFNC）两种传输策略，推导了高信噪比时的中断概率近似表达式，得到两种传输策略下的系统分集增益均为2m，并通过仿真结果加以验证。仿真结果还表明，CFNC在系统中断概率、和速率和误符号率性能上均优于AFNC和无中继直接传输策略。