随着移动通信技术的发展,人们在享受它给我们带来便捷的同时也对其提出了更高的传输速率和质量的要求,为了实现未来无线移动通信系统的高数据速率、高频谱效率、高覆盖范围等目标,新技术不断涌现,这其中充分利用空域资源的多输入多输出(MIMO)技术与充分利用节点间协作行为的中继协作通信技术就是其中的典型代表。MIMO技术不需要损失频带和发射功率资源就能使数据传输速率和系统容量成倍提升,中继协作通信可以扩大信号覆盖范围、消除信号覆盖“盲点”以及提高信号传输质量等等,而将MIMO技术与中继协作结合起来应用的MIMO中继网络将会得到更大的系统性能提升。本文即是围绕关于协作通信的关键问题之一的协作中继选择及MIMO中继网络的中继转发矩阵优化展开研究。论文做的主要工作及创新点如下：1、研究了协作通信的基础知识,并分别对各种协作分集技术、合并技术、协作转发方式做了详细介绍并进行仿真比较。研究了MIMO系统常用的预编码与检测技术,并通过性能的仿真对比为后面的中继矩阵转发设计给出参考。2、在认知无线电系统中,当次用户(Secondary Users, SU)与主用户(Primary Users, PU)共用同一频谱时,为了不造成对主用户的干扰,SU的发射功率往往很小,致使SU网络的中断概率很高。但是,如果SU能够获得周围节点的协作并选取最佳中继集合进行中继转发,那么SU网络的中断概率会降低。因此,本文提出了干扰温度约束下的一种基于波束赋形算法的中继选择策略——最优中继选择(BSR)算法,通过推导得到中继选择门限公式,使得有限的传输功率分配给更高效的链路。仿真结果表明,本文建议方案该可以有效降低系统中断概率并且优于全中继转发(AAF)算法和单中继转发(SAF)算法。3、MIMO中继网络中通常将中继转发矩阵分成接收和发送两部分分别设计,在传统的中继转发矩阵如匹配接收-调整迫零发送(MFR-RZFT)中,由于匹配接收的性能较差导致了系统性能并不理想。本文首先分别研究了基于等效矩阵的三角化和对角化中继转发优化准则,然后在MIMO系统的预编码及检测技术研究基础上,提出了两种新的中继转发矩阵波束成形设计方法,即最小均方误差接收-匹配发送(MMSER-MFT)及最小均方误差接收-调整迫零发送(MMSER-RZFT)方案。最后与两种传统的中继转发矩阵进行比较,仿真结果表明了本文所提出方案的优越性。