由于人们对高质量以及高速率的多媒体通信业务需求的提高,使得未来移动通信系统的设计颇具挑战性。然而,无线信道固有的衰落特性和不稳定性,以及日益紧缺的频带资源、难以提升的功率效率等因素严重限制了无线通信技术的发展。众多学者一直致力于寻找解决无线通信信道衰落,提高通信系统性能的方法和技术,取得了一些突破性的进展和成果,其中,多输入多输出(MIMO, Multiple Input Multiple Output)技术是最具代表性、最具影响力的发现之一。MIMO系统通过在发送端和接收端配置多根天线形成多条路径以及通过数字信号处理技术对多条路径信号形成和合并,使得系统在不增加额外带宽以及发射功率的情况下获取空间分集的同时提高了数据传输速率以及接收信号质量。然而,在实际应用中,绝大多数终端设备由于受到体积、电源功率等因素的限制,无法配备多根天线,这极大地限制了MIMO技术应有作用的发挥。为了解决上述问题,协作通信技术提供了一种新的思路,即在无线终端安装单天线,无线终端之间可以共享彼此的天线,形成一个虚拟的MIMO系统。协作通信技术将MIMO技术的应用推广到更广的应用场景中,它作为一种新的通信方式,自提出以来一直是通信领域研究热点。在这种新的通信方式中,分散在无线网络中的终端节点被看做分布式天线,通过利用无线通信信道的天然广播特性实现移动终端的相互协作并以此获得分集增益。具体来讲,通信网络中多个终端节点之间组成协作伙伴,协作伙伴之间通过独立于源端到目的节点的链路对数据进行辅助传输,即每个终端节点不但要发送本身的数据信息,还要发送其协作伙伴的信息。因此,协作通信系统可以在源端与目的端之间产生类似MIMO信道的独立传输链路,即虚拟MIMO。在传统的协作通信中,半双工无线系统由于使用正交时隙对信号进行收发而造成了频谱资源至少50%的浪费,而全双工技术可以实现信号的同时收发,从根本上避免了由收发信号之间的正交性所造成的频谱资源的浪费,从而实现了系统频谱资源利用率以及信道容量等性能的倍增。另外,针对多用户／中继系统,设计合适的节点选择方案是获得分集增益的有效方法。本文正是基于不同的协作模式、协作协议以及不同用户／中继选择方案进行了研究分析。本文首先设计了一种多源-单中继-单目的的两跳全双工AF(Amplify-and-Forward)中继瑞利-莱斯混合信道协作模型,并推导了该模型下系统的中断概率闭式解的近似表达同时分析了该系统的多用户分集(MUD, Multiuser Diversity)阶数,最后通过仿真分析了不同过时度以及自干扰度联合对系统中断性能的影响,从而验证了分析的有效性。最后,针对多跳无干扰全双工DF(Decode-and-Forward)中继传输系统,利用无线传输的广播特性,本文设计了一种信源到目的节点之间基于最短路径快速算法(SPFA, Shortest Path Faster Algorithm)的新型中继链路选择方法,与基于迪杰斯特拉(Dijkstra)算法的多跳中继选择方案相比,虽然一定程度上牺牲了系统传输速率,但SPFA算法具有更低的时间复杂度且所提出的抗干扰的多跳中继选择方案能大大减少所选链路中的最优中继个数,节省了通信成本以及资源消耗,更加符合绿色通信思想。