无线通信技术自投入使用以来,总是受到信息泄露等安全威胁。随着移动互联网的迅猛发展,人们对于通信安全的需求与日俱增。近年来,以物理层的角度研究无线通信的安全性逐渐成为研究热点。但截至目前物理层安全技术的研究多停留在理论阶段,且研究多偏重于保密容量等安全评估指标的分析和优化。因此,研究实用化的物理层安全技术具有重要意义。本文采用协作干扰技术,基于现实通信系统中常用的数字调制信号设计有用信号和干扰信号,以比特错误概率（bit error rate,BER）和符号错误概率（symbol error rate,SER）作为保密性能评价指标,研究了窃听中继系统中的安全通信问题。本文首先研究了常用数字调制信号的保密性能。将常用的数字调制信号如 BPSK（binary phase shift keying,二进制相移键控）、QPSK（quadrature phase shiftkeying,正交相移键控）、16QAM（quadrature amplitude modulation,正交幅度调制）等调制信号作为有用信号和干扰信号,分别推导了窃听节点处的BER和SER性能表达式,进行极限讨论。经过理论分析和仿真验证,得出了采用数字调制信号可以达到窃听节点处的BER为0.5以及SER为（M-1）/M（M为有用信号调制阶数）的安全通信目标,数字调制信号作为干扰信号相比于高斯噪声在多数情况下可以取得更好保密性能的结论。研究表明源—中继信道和目的—中继信道的相位差对于保密性能有很大影响,当有用信号与干扰信号同相时窃听节点性能最差。且BPSK调制干扰信号与QPSK调制干扰信号的性能等价,高阶调制的干扰信号性能差于低阶调制的干扰信号性能。此外,论文推导了 QPSK调制信号干扰MQAM调制有用信号情况下的SER普适表达式,并给出SER达到性能目标所需的信道条件。接下来,本文基于数字调制信号的保密性能研究进行了安全通信干扰信号设计。提出了基于有限相位反馈的干扰信号设计,中继节点估出两信道相位差后进行量化,目的节点根据中继反馈的量化比特调整干扰信号的相位差,达到使两信号趋于同相的目的,进而优化保密性能。经过与基于理想相位反馈的干扰信号设计方案进行BER和SER性能仿真对比,得出了所提出的方案在各种数字调制信号情况下性能损失均较低的结论。仿真结果表明基于有限相位反馈设计干扰信号时BER和SER性能均可以达到研究目标,实现安全通信。最后,本文基于数字调制信号的保密性能研究和干扰信号设计进行了安全通信自适应有用信号设计。基于高阶QAM调制信号比特分级的现象,提出采用低等级比特承载有用信息的方案。为了解决前部分研究中干扰信道状态较差时的无法达到BER目标的问题,提出了级差可调的16QAM信号设计,分析了窃听节点和目的节点的分级BER性能,推导了系统的保密容量。进一步提出了基于越过判决域（Beyond Decision Domain,BDD）和基于N倍标准差的噪声越过判决域（Nσ-Beyond Decision Domain,Nσ-BDD）的两种有用信号设计。对于所提出的两种方案的BER性能和保密容量进行分析和对比,给出了两种方案的适用条件。仿真结果表明,BDD方案和Nσ-BDD方案可以分别在高信噪比和正常信噪比条件实现任意信道状态下的窃听节点处有用信息的完全屏蔽。