随着无线通信的广泛应用，开放无线信道中的安全问题越来越受到关注。本论文将现代密码学和物理层安全的方法进行结合，深入挖掘无线通信中信道随机性对系统安全性和信息传输率的影响，展开分组密码、流密码、认证等安全机制的分析和设计。首先，针对当前缺乏从系统的视角理解无线通信安全性的问题，论文提出一种无线传输系统安全性定量评估的方法框架。将系统安全性表达为在信道编码、信道随机性影响下窃听方破译的难度，采用现代密码学中经典的线性密码分析方法，揭示其与密码算法安全性的联系与区别。其次，论文通过分析信道随机性的影响，定量刻画系统安全性增益和信息传输率代价之间的折中关系。为了深入理解无线信道对系统安全性和信息传输率的影响，论文采用了一类线性系统分组码和加密非线性映射组成的模型，比已有研究中一个RS码和AES中Sbox的模型具有更广泛的适用范围。第三，论文通过细致考虑信道随机性的影响，提出一种物理层分组加密无线传输机制的设计思路。不同于传统方法中用信道编码提供理想等效信道，该设计思路将分组密码置于物理层，有效利用信道编码和信道随机性的影响。分析表明在信道随机性较强时系统安全性得到提高。第四，针对当前对流密码中误码扩散现象缺乏深入理解，论文定量刻画了一类OCOML流密码的误码扩散规律，并对其加以利用设计了一种双耦合驱动系统。不同于已有研究主要强调对系统安全性的增强，该工作考虑了信道随机性对误码扩散的影响，数值分析表明该系统能够有效提高信息传输率。第五，论文利用分段单调映射和一类OCOML模型，研究了序图样的种类特征，以及概率特征对观测噪声的鲁棒性。针对当前缺乏噪声影响下信道特征的深入探索，初步提出一种利用序图样改进时域信道冲击响应特征的方法，数值分析表明有利于提高低信噪比情况下的认证准确率。论文的成果有助于加深对无线通信中安全问题的理解，同时有望推动开放的无线信道影响下安全机制的理论研究和实际应用。