保密性是无线通信的基本要求，也是未来无线通信亟待解决的关键问题之一。物理层安全(physical-layer security)的理论和技术可以从通信协议的底层保护保密信息、避免窃听，而且能够与传统安全技术相结合，形成完整的安全体系。物理层安全技术还可以应用于多种先进的无线传输系统，提高无线网络的保密容量。因此，研究下一代无线网络中的物理层安全问题具有重要的理论和现实意义。本文以多用户保密网络为研究对象，以物理层安全技术作为底层保密机制，并在保密框架下对网络中的核心问题进行研究。通过分析保密传输的指标，如保密容量、保密中断率等，讨论物理层安全应用的合理性。另外，本文以保密性为通信服务质量要求进行网络资源的优化和分配，以同时服务多个用户，保证用户信息的保密性和提高保密容量。本文的主要贡献和成果包括：1.针对多用户多载波的OFDMA(Orthogonal Frequency Division MultipleAccess)网络，提出最优的功率和子载波联合优化算法，来同时服务有保密要求的安全用户和无保密要求的普通用户。该资源分配问题建模为以最大化普通用户总速率为目标、以安全用户保密速率要求为约束条件的功率、子载波联合分配问题。考虑了两种功率约束条件：平均总功率约束和瞬时总功率约束。在对偶空间利用对偶分解方法，渐进地求得该问题的最优解。为了降低运算复杂度，还提出了一个较为实际的次优算法。数值结果表明，本文提出的最优分配算法可以在满足安全用户保密速率要求的同时，达到更高的普通用户总速率。而且，在保证服务质量的前提下，最优算法可以有效节省功率和子载波的消耗。2.进一步研究能够主动窃听并攻击的恶意用户，提出了一种恶意用户的攻击模型——虚假信道攻击模型。恶意用户也是网络的注册用户，故意向基站反馈错误的信道信息，以获得窃听的机会。本文基于多用户保密资源分配最优算法，根据恶意用户和其他系统用户的信道状态，分析系统保密信息泄露的场景。本文设计并分析了三个理论指标的数学模型，分别是窃听概率、保密损失和恶意用户自身保密速率损失，以刻画虚假信道攻击的危害，及对恶意用户自身的影响。本文还提出了基站补偿机制，来对抗虚假信道攻击，并在补偿机制下重新分析三个指标。实验数值结果显示了各项指标随不同系统参数的变化规律。3.多播通信是多用户网络重要的服务类型。多播传输中的用户共享信道和数据，多播保密传输既需要保证多播信息的保密性，又需要兼顾所有多播用户的服务质量。传统的直接多播效率低、覆盖范围小，因此本文提出了协作保密多播方案，将传输过程分为两个时隙完成，允许用户作为中继，来转发多播信息给其他用户。本文建立了协作多播传输网络保密中断率的数学模型，理论推导得出了协作多播的保密中断率的闭式解。另外，本文还分析了中继选择策略下的协作多播中断率。实验数值结果表明，协作多播方案的保密中断率明显低于直接多播。尤其当网络用户数较大时，协作多播的中断率会明显下降，这也证明了协作给多播通信带来的性能增益。4.多播网络保密传输的一个重要前提是所有注册用户都向基站反馈正确的信道信息。如果多播网络遭受虚假信道攻击，保密信息将有可能发生泄露。因此，本文考虑虚假信道攻击对多播网络保密性的影响。与单播服务不同，多播同时服务一组用户，基站需要确定一个网络等效信道状态作为确定传输速率的参考。本文研究了直接多播传输中虚假信道攻击的成功场景，以及成功场景下的窃听概率和保密损失。还分析了虚假信道攻击对协作多播的影响，以及恶意用户的策略。数值结果表明，虚假信道反馈的偏差越大，窃听概率和保密损失越高。另外，网络用户数较大时，窃听概率和保密损失均降低。