无线网络的快速发展与广泛应用给人类的生产与生活带来了巨大的变化,已经成为现代生活至关重要的一部分。随着未来无线移动通信系统中通讯设备与传输数据的飞速增加和多种无线通信服务的出现,无线信息安全正面临着严峻的威胁。一方面,手机支付、人脸识别以及网上银行等便捷服务的应用越来越广泛,与有线通信不同,无线移动通信系统传输介质的广播特点使其极易遭受非法用户或者恶意用户的攻击与窃听,因此保障未来无线通信网络的安全与可靠成为网络建设的重点环节。另一方面,不法分子也可能会利用无线网络服务的便捷性进行恐怖袭击等违法犯罪活动,进而危害国家安全,因此对于政府部门来说,部署有效的合法监听策略是势在必行的。基于以上挑战,本论文对于合法监听机制与物理层安全传输问题进行了深入研究。针对无线移动通信系统中的合法监听场景,研究了全双工中继协作的主动监听机制:针对系统中存在主动窃听的物理层安全传输机制,设计了信源波束矢量优化算法以对抗主动窃听。本论文具体研究内容和创新点归纳如下:1)研究了合法监听系统中的中继协作主动监听方案,在保证合法监听性能的同时最小化可疑通信用户的可疑速率。考虑中继工作在全双工(FD,Full-Duplex)模式,与监听者形成合作关系,一方面中继向监听者放大转发可疑发送端的信息,另一方面中继向可疑的接收端发送干扰信息,从而提升信息监听的性能。为了减少可疑用户带来的安全威胁,确保合法监听性能,联合设计了中继波束矢量和功率分配方案,通过理论推导得出了信息转发波束矢量与干扰波束矢量的闭式表达式以及信息转发功率与干扰功率的最优解。最后,通过仿真分析证明了所提中继协作主动监听方案的性能。仿真结果表明,与传统的合法监听方案相比,所提出的新型中继协作主动监听方案可以显著提升系统的监听性能,同时有效抑制了可疑通信。2)研究了无线通信系统中对抗主动窃听的物理层安全机制。考虑了窃听者为提升自身窃听性能而设计的窃听策略,通过节点选择从空闲的中间节点中选出最优的中继和干扰者节点,寻求它们的帮助。在此基础上,进行中继和干扰者节点的波束矢量设计与功率分配,以最小化系统保密率。为了对抗这种主动窃听,本文以最大化系统最差保密率(WCSR,Worst-Case Secrecy Rate)为目标,提出了基于最差情况下的信源波束成形优化算法,通过求解广义特征向量问题与迭代优化获得了最优的信源安全波束矢量。最后通过仿真对所提优化算法的收敛性与有效性进行了研究与验证。结果表明,该算法能够很快收敛,并且能够有效提升系统的保密率。