随着人们的生活更加依赖和需要无线通信的支持,未来无线通信系统则需要向着更高速率,更大容量,更广覆盖以及更低成本的要求迈进。中继通信技术能有效扩大通信覆盖范围,提高边缘用户速率,增进网络负载均衡,已成为长期演进增强系统(LTE-A)中的重要技术。但是,由于中继的半双工特性,相对于传统直接传输,中继传输则需要消耗双倍资源,这将会带来无线中继通信系统的容量损失问题。因此,结合新的技术设计有效的方案对现有中继通信系统容量的优化提升,具有十分重大的理论及现实意义。基于提高现有无线中继通信系统容量的目标,本论文结合MIMO, OFDM和双向中继等其它新型核心技术,首先从中继部署优化和OFDM资源复用两个系统级方面对无线中继通信网络进行优化,然后针对多用户MIMO中继的演进链路模型进行线性处理优化研究,最后在革命性改变的双向中继通信链路下研究多天线网络编码方案。论文主要工作和创新在于：首先,针对中继网络部署优化问题,首先对放大转发和解码转发中继链路模型进行功率优化,接着重点研究了在宏蜂窝(WA)场景下的中继部署策略,探讨了中继传输方式,中继部署数量,中继部署位置,中继功率设定对于系统性能的影响,结合相应的成本分析,给出了宏蜂窝场景下的优化部署设计,以达到系统容量和覆盖扩展的要求,同时也反映了中继网络中系统容量和覆盖扩展变化的关系。第二,针对提高OFDM中继网络的频谱效率的问题,提出选择在使得资源复用程度更高的扇区化中继小区结构下进行资源复用方案的设计,在此基础上设计了两种资源复用方案,分别为基于功率异配和用户分组的全复用干扰抑制方案以及基于用户绑定的分布式部分复用干扰抑制方案,研究结果表明相对于全复用方案,它们都能有效抑制扇区内干扰,提高系统吞吐量。第三,在多用户MIMO中继系统中,多天线节点的传输处理对系统容量和可靠性有很大影响,而进行线性处理能够降低复杂度,减小处理时延。针对这个研究问题,本论文分别基于上行多址接入中继信道和下行广播中继信道进行中继线性预编码场景下的可达速率研究,通过优化推导分别提出了计算可达总速率的迭代算法；同时基于最小均方误差准则分别对上下行信道进行联合线性处理优化,经过推导提出了最优或次优解决方案。研究结果表明,提出的所有方案达到的数据速率都高于采用单用户MIMO的中继系统。第四,针对双向中继系统的多天线网络编码问题,同时考虑2阶段双向中继系统和3阶段协作双向中继系统两种不同协议,基于最小均方误差这个能够具备实现鲁棒性的准则进行中继多天线网络编码的优化,对于2阶段双向中继系统还提出了一种能有效降低复杂度的次优闭式多天线网络编码方案。研究还表明,无论是2阶段还是3阶段的双向中继通信方案都能有效解决传统单向中继系统存在的容量损失问题,达到无线中继通信系统中有效性和可靠性的较好折中。最后,对论文内容进行了全面的总结,并指出了不足以及今后的研究方向。