无线中继技术作为第四代（4G）移动通信系统的核心技术之一,在提高无线通信业务的覆盖范围和可靠性方面有着优越的性能。但是,无线通信的高度开放性给无线中继系统带来了新的安全挑战。除了来自系统外部窃听者的窃听威胁外,所引入的中继节点也可能是潜在的窃听者,即中继是不可信的。特别地,在政府、银行、军事等保密性要求较高的无线通信系统中,更主观要求将额外引入的中继节点视作窃听者来对待。因此研究不可信中继系统的安全传输及其性能分析具有十分重要的意义。另一方面,面对第五代（5G）移动通信系统的海量连接、吞吐量更高等需求时,传统的基于正交多址接入（OMA）传输的中继系统在传输有效性方面便显得不足。为此,无线中继技术必须结合更先进的技术手段来满足5G系统的高效传输要求。在众多新兴技术中,非正交多址接入（NOMA）传输被视为有效满足5G移动通信系统超大容量和海量连接需求的一种突破性技术。因此,在中继系统中采用NOMA技术是提高中继系统传输有效性的理想途径。目前,无线中继系统与NOMA的有机结合是一个崭新的研究方向,受到国内外学者们的广泛关注。本论文紧密围绕上述4G/5G移动通信系统的迫切需求,以放大转发（AF）中继系统为研究主体,重点关注了与AF中继系统密切相关的两个研究热点问题:1)中继节点不可信时AF中继系统的物理层安全传输问题;2)AF中继系统中基于NOMA技术的高效传输问题。论文针对当前研究中的不足之处展开研究,所得出的成果一方面完善和推动了面向4G的无线中继系统安全传输的相关研究,另一方面为5G中NOMA技术在无线中继系统中的实际应用提供了理论参考和实践指导。主要研究内容及创新点如下:1、针对不可信AF中继系统的安全中断概率（SOP）性能极限并不明确这一问题,本文对基于目的协作干扰（DCJ）技术的单用户不可信AF中继系统的SOP性能进了深入研究。推导了Nakagami-m信道下SOP的近似闭式表达式和高信噪比（SNR）下的渐进表达式,从中得到了如下结论:系统的安全分集增益为min（m1,m2/2）,其中1m和m2分别为第一、二跳信道的Nakagami-m衰落指数。为了进一步提高系统的安全中断性能,研究了基于SOP最小化的最优功率分配（OPA）问题。数值和仿真结果表明,较之等功率分配,OPA能显著提高SOP性能。特别地,当m1>m2/2时,OPA能够将安全分集增益从m2/2提高到2 m1 m2/（2 m1+m2）。2、现有针对不可信AF中继系统的研究,忽视了多用户调度的影响。因此,本文针对多用户不可信中继场景,提出了DCJ和机会主义调度（OS）策略相结合的安全通信方案,并同时考虑过时信道状态信息（CSI）对SOP的影响。在Rayleigh信道下,推导了理想和非理想（即过时）CSI条件下SOP的近似和渐进闭式表达式。理论分析和仿真结果表明,在理想CSI下,OS能够将安全分集增益从单用户情况下的1/2提高到多用户场景下的满分集增益1;但是,非理想CSI会使安全分集增益退化为单用户情形下的1/2。3、利用多天线分集技术能够有效提高星地混合中继系统的可靠性,然而现有研究都假设卫星中继是友好、可信的。为此,本文针对多天线不可信AF卫星中继系统,提出了波束成形和DCJ技术相结合的安全传输方案。在Shadowed-Rician信道下,分别推导了可变增益中继（VGR）和固定增益中继（FGR）系统SOP的近似、渐进闭式表达式。结果表明:VGR和FGR系统所获得安全分集增益均为min（N,M/2）,其中N和M分别为地面源、目的节点配置的天线数。随后,提出了基于SOP最小化的OPA方案。数值和仿真结果表明:1)对VGR系统而言,当N<M/2时,OPA只能够提高安全阵列增益,而当N>M/2时,OPA能够将安全分集增益能够从M/2提高至2NM/（2N+M）;2)对FGR系统而言,OPA对安全分集增益并没有影响。4、在AF中继系统中采用NOMA技术,能够显著提高系统传输的有效性。然而在现有研究中,尚未有能够准确刻画任意信噪比（SNR）区域下各用户遍历速率的闭式解析式。为此,本文研究了最大合并比发送和发送天线选择这两种多天线分集技术在基于NOMA传输的AF中继系统中的应用。在Nakagami-m信道下,利用基于泰勒级数近似的方法分别推导了各用户遍历速率和系统遍历速率和（ESR）的统一、近似闭合表达式。仿真和数值结果验证了理论结果在任意SNR区间和信道衰落条件下的准确性。5、现有针对采用NOMA传输的AF中继系统的分析都是在理想硬件条件下展开的。因此,本文分析了残留硬件损伤（RHI）对基于NOMA的中继系统性能的影响。在Nakagami-m信道下,分别推导了中断概率、遍历速率和ESR的近似和渐进解析式。结果表明:若恰当选目标速率和功率因子,RHI只降低用户的阵列增益而不影响分集增益,但是RHI会导致ESR在高SNR下出现平层效应,且该平层值只与硬件损伤水平有关。