中继协作通信作为提高网络覆盖率和频谱使用效率的一项关键技术,在许多实际通信场景有着广泛地应用。而中继系统的容量和传输策略一直是学术界和工业界研究的热点,因为它对实际通信系统设计有着不可替代的指导作用。几十年来中继系统容量和传输策略的研究虽然已经取得了丰硕的成果,但还有一些基础性的关键问题还没得到很好的解决,就连最简单的三节点中继协作信道的容量仍然是未知的,整个中继系统仍有大量有价值的问题值得深入研究。本论文首先从信息论的角度对一类特殊的中继信道-无线蝶形网络展开了研究,随后研究了全双工MIMO中继多播系统的波束成形设计,主要工作和创新点包括以下几个方面:1)无线蝶形网络容量研究,该部分对无线蝶形网络两种工作模式即非连续方式和连续方式下的容量进行了研究,这两种工作模式唯一的区别就在于非连续方式下源节点在中继给目的节点传输数据时保持静默,而连续方式下则不保持静默。对于对称蝶形网络的两种工作模式,本文从信息论角度分别给出了其在线性移位确定性模型下的容量区域。该结果表明,蝶形网络中的旁听链路为系统容量提供了可观的增益,非连续方式其提供的增益为旁听链路容量的一半,连续方式其提供的增益为旁听链路的容量,但旁听链路提供的容量增益都有上限,即不会超过源-中继-目的的两跳链路的容量。进一步,对于对称蝶形网络的两种工作模式,本文给出了它们在高斯信道模型下的容量区域上界和常数差距的可达速率。该容量区域上界通过割集理论以及精灵辅助等信息论工具获得。为了获得常数差距的可达速率,本文提出了一种能有效利用旁听链路的传输策略,即源节点采用晶格编码+随机高斯编码的叠加编码,接收节点采用连续干扰消除解码,中继节点则采用解码转发。结果表明,非连续方式下对于任何信道增益该传输策略所达到的和速率离和速率上界的差距都在每用户1.15比特/秒/赫兹以内;连续方式下对于任何信道增益该传输策略所达到的和速率离和速率上界的差距都在每用户1.65比特/秒/赫兹以内。2)一般MIMO蝶形网络自由度研究,本文从信息论角度给出了一般MIMO蝶形网络的最优自由度区域。该自由度区域的刻画从两个方向进行:一是通过割集理论和精灵辅助等信息论工具获得其自由度区域上界;二是通过利用旁听信号消除干扰证明自由度区域上界可达。随后将MIMO蝶形网络和两对MIMO中继信道的最优自由度区域进行了分析对比。结果表明,与两对MIMO中继信道相比,大多数情况旁听链路都能带来自由度的增益。特别是每节点配置相同数量天线的对称情况,更能获得两倍于两对MIMO中继信道的自由度,该结果与有线蝶形网络场景中众所周知的增益翻倍结果相对应。3)全双工MIMO中继多播系统的波束成形设计研究,本文以优化系统的多播速率为目标,分别设计了放大转发和解码转发工作方式下的全双工MIMO中继多播系统的波束成形方案。鉴于该问题是一个高度非凸的问题,很难直接求解,本文分别提出了放大转发和解码转发方式下的三步迭代算法。对于该三步迭代算法,源的发射波束成形矢量和中继的接收波束成形矢量都能找到闭式解,但中继的发射波束成形矢量与两段通信链路的性能都有耦合,其优化问题高度非凸。为了求解中继的发射波束成形矢量,本文在放大转发方式利用了高信噪比近似、秩1近似以及半正定规划进行近似求解,在解码转发方式则利用了连续凸近似、秩1近似以及半正定规划进行近似求解。数值结果显示,无论放大转发方式还是解码转发方式,全双工MIMO中继多播系统都能获得比半双工MIMO中继多播系统更高的频谱效率。