由于无线中继技术具有扩展无线覆盖区域、提升系统抗干扰性能等优势,已经被IEEE802.11s, IEEE802.16J和3GPP LTE-Advanced等通信标准所采纳。根据信息流特点,中继技术可以分为单向中继和双向中继。在单向中继中,一个节点信息通过一个或多个中继转发给另一个节点；在双向中继中,两个或多个节点通过一个或多个中继互相交换信息。众所周知,信道衰落会严重影响无线通信系统的性能,因此研究衰落环境下各种无线中继通信系统传输方案及其性能分析具有十分重要的意义。本文重点研究Nakagami和Rayleigh衰落信道下单向中继和双向中继通信系统,并取得了一些重要成果。首先,通过研究单中继两跳中继通信系统在Nakagami-m衰落信道下的性能,获得了Nakagami-m衰落信道下两跳中继通信系统平均误码率(BER)和遍历容量的一些新结果。具体包括：在两跳信道独立但非必要同分布情况下,得到了适用于整数衰落参数,采用二进制相位键控(BPSK)调制的系统平均BER的准确闭合表达式,并得到了适用于任意衰落参数的遍历容量的闭合上界。在两跳信道独立同分布情况下,得到了适用于任意衰落参数,采用BPSK调制的系统平均BER和遍历容量的准确闭合表达式。数值和仿真结果验证了理论分析的正确性,所得理论结果可用来指导Nakagami-m信道下两跳中继通信系统的设计与优化。其次,通过研究基于信道状态信息(CSI)辅助放大转发中继的合作分集系统性能,获得了独立但非必要同分布Nakagami-m信道下合作分集系统平均误符号率(SER)的准确理论结果。针对信噪比(SNR)几种上界所存在的缺陷,直接从精确SNR表达式出发,得到了SNR的矩生成函数(MGF)的闭合表达式。在此基础上,利用基于MGF的方法获得了合作分集系统采用多进制相位键控和正交幅度调制(MPSK/MQAM)的平均SER性能表达式,为Nakagami-m衰落环境中合作分集系统的优化设计提供了理论依据。接着,通过研究共道干扰环境下过期信道状态信息对于两跳多用户中继通信系统的影响,得到了系统中断概率和平均SER的下界以及高信干比(SIR)条件下系统的渐进中断概率和渐进平均SER表达式。对系统参数之间约束关系的研究表明,过期信道状态信息和共道干扰对于系统性能有着严重的影响。研究结果对存在干扰和过期信道状态信息环境下两跳多用户中继系统的设计具有重要指导意义。论文还提出一种针对多用户双向中继通信系统的机会式传输方案。通过分析该系统性能,获得了其中断概率下界及高SNR下的渐进中断概率表达式。从中断概率渐进表达式可以看出,这种机会式传输方法可以获得满分集阶数。所提出的传输方案系统中断概率性能要优于多用户场景下的模拟网络编码(ANC)和时分广播(TDBC)方案,尤其是在低传输速率情况下,因而传输可靠性更高。此方案为蜂窝中继网络上下行传输提供了一种新的解决思路。进一步,基于ANC和TBBC协议,论文提出一种基于切换停留合并的双中继双向中继通信系统中的中继使用方法。通过研究切换停留合并在ANC和TDBC两种双向中继协议下的中断概率和平均BER性能,得到了Rayleigh衰落信道下系统的中断概率和平均BER的准确闭合下界,并且分析了高SNR条件下的渐进中断概率和渐进BER性能。研究结果表明,切换停留合并技术在合适的切换门限下在双向中继通信系统中可以实现满分集阶数。最后,通过研究两个高斯Q-函数乘积在衰落分布下的均值,分别推导出了Nakagami-m和Nakagami-q(Hoyt)分布下两个高斯Q-函数乘积均值的闭合解,所得结果适用于任意衰落参数。进一步,应用所得结果到广义矩形QAM调制信号的平均SER,获得了广义矩形QAM信号在最大比合并(MRC)分集传输系统中的平均SER闭合表达式、广义矩形QAM信号在高SNR条件下的渐进平均SER表达式、编码增益和分集增益表达式。特别地,关于两个高斯Q-函数乘积在衰落分布下的均值结果,还可以应用到基于译码转移(DF)中继的多跳中继通信系统的性能分析以及使用选择合并的合作中继通信系统的性能分析。