无线物理层安全技术是一种从无线通信本身的特点出发，利用无线信道的多样性和时变性以及通信双方信道特征的唯一性和互易性，实现安全传输的技术手段。目前，主要分为基于信息论的物理层安全技术和基于信号处理的物理层安全技术。基于信号处理的物理层安全技术不用已知窃听者信道状态信息(CSI)、不用假设合法用户信道质量优于窃听者信道质量，是无线物理层安全领域的研究热点。但是，该技术仍存在以下问题：1）缺少统一的理论框架；2）某些场景下缺乏有效的安全传输方法。基于此，本文依托国家自然科学基金项目“无线通信信道特征等效下的物理层安全性研究”，从不适定理论的角度出发对物理层安全理论框架和高效安全传输方法展开了专门研究。首先，基于不适定理论提出了一种无线物理层安全理论框架，揭示了现有基于信号处理的物理层安全方法均为该框架的特例；然后在该框架的指导下，针对不同应用场景研究了多种有效的物理层安全传输方法，具体有：提出了一种保障无线物理层安全的不适定理论框架。该框架包括基于解不唯一的第一类不适定安全理论和基于解不稳定的第二类不适定安全理论。第一类不适定安全理论利用不适定问题解的不唯一性引入发送端预处理参数的冗余，随机化发送信号以达到保障物理层安全的目的；第二类不适定安全理论利用不适定问题解的不稳定性引入预处理参数的冗余，随机化发送信号以合法用户微小性能损失为代价，实现物理层安全传输。该框架不仅有利于深入分析现有各种物理层安全传输方法，还为新方法的提出提供理论依据。文中还提出不安全因子的概念，并利用它研究了该理论框架的安全性度量问题。提出一种适用于MIMO系统的无线物理层安全传输机制——联合阵列冗余机制。根据第一类不适定安全理论应用于MIMO无线通信系统面临的发送端天线数量受限等问题，将传统意义上解唯一或者解不存在等问题转化为联合意义上的解不唯一不适定问题。在此基础上借鉴联合阵列的思想，引入发送端预处理参数的冗余，提出了两种无线物理层安全传输方法：联合随机加权矢量法和联合人工噪声法。分别利用该冗余随机化发送信号和发送对合法用户无影响的人工噪声来保障物理层安全。提出无线多组多播MIMO系统中的安全预编码方法，建立多组多播MIMO系统的无线物理层安全联合优化模型。该方法根据第一类不适定安全理论的人工噪声思想，以发射功率和窃听者最大信干噪比(SINR)为约束条件，使最差合法用户的SINR最大。将无线多组多播MIMO系统的物理层安全问题转化为凸优化问题，并分别针对单流和多流多播MIMO系统提出了两种次优方法：两种方法均基于无线物理层安全联合优化模型，利用信号泄露噪声比(SLNR)的去耦合特性降低复杂度。并针对多流多播问题引入了广义瑞利熵的思想，简化了问题求解。对于存在信道估计误差的情况，文中还研究了多播系统中鲁棒的物理层安全预编码方法。提出三种多用户MISO-OFDMA系统的物理层安全与资源调度联合优化方法。首先，利用随机加权思想和多用户之间的信道相关性，提出一种包含用户选择、功率分配的低复杂度次优物理层安全传输方法；然后，利用人工噪声思想并通过松弛秩一约束条件，将物理层安全问题转化为一组基于遍历搜索的半正定规划(Semidefinite Program, SDP)问题；最后，提出一种子载波参考的预编码安全传输方法，该方法给每个用户分配一个子载波集，利用子载波集内的第一个子载波发送参考符号，其他子载波发送信息符号，通过随机化发送信号达到低截获概率传输的目的。提出针对多用户通信系统的随机多用户安全传输机制。该机制基于第一类不适定安全理论，利用用户间的随机独立衰落信道引入冗余，通过预处理使窃听者与发送端之间的等效信道随机变化，达到了安全传输的目的。在此基础上，提出了时分单入单出(SISO)系统物理层安全传输方法，该方法在每个时隙均随机选择一个用户发送信号，在对发送信号进行预处理的同时完成随机化。文中还针对多载波系统提出了随机多用户物理层安全传输方法，该方法针对每一个子载波在每个时隙均随机选择一个用户集，同样能够随机化发送信号保障安全传输。提出一种适用于SISO系统的无线物理层安全传输机制——扰动冗余机制。该机制基于第二类不适定安全理论，通过对等效信道的微小扰动获得发送端预处理参数的冗余，以随机化发送信号达到保障无线物理层安全传输的目的。首先，通过放宽合法用户的最佳线性接收条件在发送端引入预编码权值的冗余，在此基础上将物理层安全问题转变为发送信号随机化问题，提出一种宽约束均方误差的物理层安全传输方法。然后，利用宽带无线信道多径冗余的特点和时间分集的思想，通过随机时间反演(Time-Reversal, TR)获得等效信道的微小扰动效果，使得发送信号在合法用户处聚焦的同时随机化窃听者的接收信号，提出一种基于多径冗余的物理层安全传输方法。