协作通信系统不仅能够有效的提高系统传输性能,而且还可以在不增加硬件成本的前提下获得额外的分集增益,因而受到学术界和工业界的广泛关注。然而,在实际的系统部署中,由于受系统运营成本和地理环境的限制,中继节点使用廉价的、低功率效率的设备,使得协作中继的收发节点通常存在功率放大器非线性、同相与正交相位非平衡、相位噪声以及量化误差等非理想因素,上述非理想硬件产生的影响虽然可以通过一些校准和预失真算法进行补偿,但是残留硬件损伤对系统性能仍有重要影响。本论文主要针对不同场景下,硬件受限协作通信系统的传输技术及衰落性能展开研究,从理论上分析和评估硬件非理想对协作通信系统性能的影响。另外,以提升硬件受限协作通信系统的性能为出发点,研究了非正交多址接入(NOMA)技术、无线信息与能量协同传输技术(SWIPT)和中继选择方面的内容。本论文的主要研究内容如下:第一,研究了理想硬件情况下,用户在中继覆盖范围内随机部署的协作NOMA通信系统的中断概率性能。利用随机几何理论模拟随机分布用户的位置,构建了用户与中继之间的无线信道模型。基于理想串行干扰消除(SIC)和非理想SIC两种情况,研究了上行NOMA和下行NOMA通信链路以及整个通信系统的中断性能,分别得到了相应的中断概率闭式表达式,并进一步得到了高信噪比下系统的中断概率渐进表达式,进而分析了衰落参数对系统渐进性能的影响。第二,综合考虑各种硬件损伤类型的数理统计特征,构建数学化的统计特征模型。针对硬件损伤问题,基于均匀衰落和非均匀衰落信道,构建了广义硬件受限中继系统模型,研究了源节点与目的节点之间存在直连链路和不存在直连链路两种场景下系统的中断性能,分别得到了两种场景下中断概率的闭式表达式,并且进一步分析了硬件损伤参数、衰落参数以及中断阈值对中断性能的影响。第三,为了进一步提高用户公平性、系统容量和可靠性,将NOMA技术引入硬件受限协作中继系统,在仅已知部分信道状态信息(CSI)条件下,研究了硬件受限协作NOMA通信系统的性能。基于两种信道估计误差模型,得到了协作和非协作NOMA两种场景下系统的中断概率和遍历容量闭式表达式。在协作NOMA场景下,用户采用选择合并(SC)算法处理不同支路传输的信号,进而带来接收空间分集的阵列增益。研究结果表明,协作NOMA相比于非协作NOMA在相同的信噪比下有更小的中断概率。第四,将单中继协作通信系统扩展到多中继协作通信系统,提出了一种基于硬件损伤和非理想CSI情况下的中继选择算法。另外,为了解决中继节点供能不足的问题,引入SWIPT技术,研究了协作NOMA SWIPT系统,该系统包括一个基站、多个中继和两个NOMA配对用户,其中中继可以从接收到的射频信号中获取能量。本章节主要从中断概率、分集增益、遍历容量和能量效率四个方面,对非理想情况下协作SWIPT NOMA系统性能进行分析,并得到了相应的闭式表达式。