随着通信技术的发展,远距离的交流与数据传输变得越来越简单,人们能够随时随地享受高速无线网络带来的便利。但无线通信具有开放性和广播性,容易被第三方窃听,人们的隐私存在着较高的泄漏风险。应用层的数据加密技术可以在一定程度上缓解隐私泄漏的问题,但是随着硬件计算能力的不断提升,数据加密技术面临被快速破解的危机。物理层安全传输技术利用多天线技术、人工噪声技术、随机编码技术等物理层技术,在不需要上层协助的情况下,利用信道自身的特性实现物理层信号的保密传输,从根本上缓解无线通信开放性带来的问题。此外,通过合理的设计可以实现无线传输行为的隐藏,让第三方监听设备无法判断通信行为的存在,从而进一步提升信息传输的隐蔽性与安全性。本文围绕无线通信系统中的物理层安全传输与隐蔽传输技术进行研究,研究内容涉及方向调制网络中的波束成形技术、模数混合波束成形技术和隐蔽传输技术等多个方面。相关研究成果能够运用到工程实现中,提升无线系统的安全传输速率,在特定场景下实现传输行为的隐藏。本论文的主要贡献为:1)在考虑了隐蔽无线通信中的传统信道估计的基础上,研究了有限块长度对系统隐蔽传输性能的影响。在加性高斯白噪声（Additive White Gaussian Noise,AWGN）和瑞利衰落信道中,分析了基于Willie的最小检测错误概率的下限,证明了在AWGN检测信道中等功率发射导频和数据符号可以最小化Willie的检测性能,并在此结果上优化用于信道估计的信道使用数以最大化通信信道的有效信号干扰噪声比（Signal-to-Interference-Plus-Noise Ratio,SINR）。仿真结果表明,最优的信道使用数随着隐蔽约束变紧而单调递增。在瑞利衰落检测信道的情况下,分析了导频和数据符号等发射功率和不等发射功率两种情况下Willie的检测性能,并据此提出了隐蔽通信中优化资源分配的一般框架。2)针对存在到达角估计误差场景,提出了一种鲁棒混合模拟数字波束成形接收方案,此接收方案是基于对角化方法且采用了零空间投影（Null-Space Projection,NSP）规则来设计总波束成形向量。仿真结果表明,在可获得理想到达角信息的情况下,所提出的方案在干扰方向上比基于对角化的算法可获得较大的波束增益。在存在到达角估计误差的情况下,与对角化算法和NSP混合方法相比,所提出的具有均匀分布角度误差的鲁棒混合模拟数字波束成形算法表现出了良好的鲁棒性。随着最大角度误差的增大,相对于非鲁棒性方案,所提方案的信噪比提升更为显著。3)为了提高方向调制（Directional Modulation,DM）系统的安全速率（Secrecy Rate,SR）,提出了基于交替迭代结构的最大化安全速率算法。提出的基于交替迭代的方法在安全速率性能上要优于传统零空间投影（Null-Space Projection,NSP）的方法,且能够快速的达到收敛状态。仿真结果表明,与基于零空间投影的功率分配方案相比,所提的最大化安全速率的交替迭代算法方案在中低信噪比下的安全速率和安全能效方面有显著的提高,尤其是在中小型天线场景中。此外,提出的方案可以在两次或三次迭代后快速收敛,并明显提高安全速率。4)针对精准干扰与无线安全传输一体化模型中的波束成形算法,提出了两种新型的波束成形算法:泄漏算法以及Max-RP算法来进一步提高物理层的安全性。泄漏方法通过最大化信泄噪比来设计传输向量,而Max-RP算法通过最大化在Bob处接收到的有用信号来设计传输向量。仿真结果表明,在中高信噪比范围内,所提出的两种算法的在比特误码率（Bit Error Rate,BER）与安全速率两个评估系统性能的指标上均优于传统的EAB算法。