无线通信系统中多输入多输出(Multiple-Input Multiple-output,MIMO)技术的发展使得突破香农极限成为可能,以MIMO技术为基础发展而来的协作通信技术,通过分布式节点的协同信息传输实现相互之间的资源共享,具有扩大通信服务范围、提高通信可靠性等优点,同时克服了 MIMO技术对天线间距离要求苛刻的弊端,在无线通信领域引起了广泛关注。协作传输通过获得空间分集增益实现系统性能的提高,为无线通信的发展提供了新思路,但协作通信的发展过程中仍有许多问题亟待解决,特别是在多用户并发通信系统中,如何选择协作中继对系统性能提升效果最大,怎样在保证用户服务质量(Quality of Service,QoS)、用户公平性的同时降低传输时延、提升数据传输速率等,这都是多用户协作策略研究的难点问题。已有的研究大多针对单用户协作系统进行性能分析和协作策略设计,而对多用户多中继协作场景中的中继选择、性能优化以及提升数据传输速率方案的设计等方面的研究较少,仍有许多关键问题急需解决。本文主要针对多用户多中继协作通信系统中的中继选择策略和系统传输设计做了相关研究。为提升系统性能提出了一种低复杂度次优用户-中继选择方案,在此基础上研究了多用户放大转发(Amplify-and-Forward,AF)协作空移键控(Space Shift Keying,SSK)用户-中继系统中的天线选择方案,进一步提升了数据传输速率和通信可靠性,主要内容如下:首先,提出了多用户多中继系统的低复杂度次优用户-中继选择方案。已有多用户场景下的用户-中继选择方案大多从单一性能优化入手设计算法步骤,不能同时兼顾系统整体性能和个体用户性能的优化,以及算法复杂度问题。本文从优化系统平均和速率和用户中断概率出发,提出了一种次优用户-中继选择方案,同时保证了系统整体性能和个体用户性能,并通过仿真将其与其他已有算法进行了性能和算法复杂度的对比。其次,提出了针对多用户AF用户-中继协作系统的天线选择方案。将SSK调制与多用户协作系统结合,分析系统平均误比特率(Bit Error Rate,BER)性能,提出针对多用户系统的最大似然(Maximum Likelihood,ML)检测准则和三种改进的天线选择方案。根据实际的发送天线,本文所提出的天线选择方案实现了信源多天线、多中继和多用户链路之间的传输路径选择,进一步改善了系统平均BER和数据传输速率。并通过计算机仿真验证了所提天线选择方案能够有效改善系统BER性能,同时分析了仿真参数对系统平均BER的影响。最后,论文总结了多用户协作系统中继选择技术及天线选择算法优化等方面仍存在的问题和未来可进一步深入的研究点。