方向调制（Directional modulation,DM）作为一种新兴的物理层安全技术,可以利用其定向性对无线网络安全传输带来裨益。随着无线网络中用户数量的增加和环境的恶化,保障信息的保密性和通信过程的安全性仍非常重要。与此同时,在实际应用中,由于所需传输数据量的倍增,密集分布的中小型小区和大规模天线阵列都将为无线网络带来更高的硬件成本和能量损耗。因此,如何合理的结合其他物理层安全技术,使得系统能够在能耗、成本与性能之间获得良好的权衡,并实现基于DM的无线安全传输尤为重要。论文围绕DM系统下的物理层安全展开研究,主要研究内容与创新点如下:1)为了研究有限位数字移相器造成的相位误差对于DM系统造成的影响,针对模拟波束成形结构的DM发射机,首先建立模型,随后运用大数定理推导系统安全性能损失与比特数的关系表达式,包括期望用户接收信干噪比（Signal-to-interference-plus-noise ratio,SINR）损失和系统安全速率（Secrecy rate,SR）公式。仿真结果均表明:随着数字移相量化比特数的增加,系统的安全性能损失会逐渐变小;当量化比特数大于或等于3时,接收SINR损失低于0.3 d B,而SR在量化比特数无限位与有限位情况相比,性能增益小于0.1 bits/s/Hz。所推导结果在给定性能损失前提下,为选择最小位数移相器提供指导建议,如此可达到系统性能和硬件成本的良好平衡。2)针对传输DM系统在点到点多输入多输出（Multiple-input multiple-output,MIMO）自由空间只能传输一路隐私比特流（Confidential bit stream,CBS）的现象,引入无自干扰的无源智能反射表面（Intelligent reflecting surface,IRS）,从而实现两路隐私信息同时传输到合法用户。首先提出了两种交替迭代算法,以联合设计发射波束成形和IRS相移矩阵:为了最大化系统SR,提出一种高性能的通用交替迭代算法（General alternating iterative,GAI）,且采用梯度上升算法巧妙解决了相移矩阵的恒模约束;另外,为了迫使两路CBS在接收端空间上相互独立,提出一种低复杂度的零空间投影算法（Null-space projection,NSP）,利用NSP的设计确保CBS不会泄露至窃听方,在空间上区分每一路CBS并降低算法复杂度。仿真结果表明:在IRS的辅助下,所提的GAI和NSP算法均可以使DM系统获得更高的SR,同时收敛速度快;由于IRS的存在,引入有益的多径可提升SR,克服了DM系统在白高斯信道的传输局限性,使系统在传输双路CBS的情况下可达到近一倍的安全性能增益。同时,通过仿真分析了IRS的最优位置问题。