随着第五代移动通信（5G）的到来,无线通信将面临千倍的移动互联网流量的增长。然而,随着无线通信技术的发展,可用的无线频谱资源已经是十分珍贵的资源。针对无线信道的时变特性,设计能够自适应匹配信道条件的高频谱利用率传输方案是无线通信技术研究的关键。码率兼容调制（Rate Compatible Modulation,RCM）技术对信道状态信息估计敏感性低,能够自适应匹配信道状态,同时实现了无缝速率传输,能够更有效地适应信道的时变特性。本文围绕码率兼容调制系统的信号设计、译码算法和安全传输三个方面,针对最小环长规避、最小距离优化、译码算法改进和物理层信号加密四个问题进行了深入研究,完成了以下主要创新工作:1、针对RCM映射矩阵中存在最小环长四环问题,分析了RCM映射矩阵中四环的存在对译码过程的影响,发现四环会阻挠符号节点与校验节点间信息的传递,从而降低译码性能。本文提出了最小环长规避的映射矩阵结构化构造方法,利用此方法构造出来的映射矩阵具有三大优点。第一,满足RCM映射矩阵的构造准则,保持了RCM映射矩阵原有的特征。第二、具有结构化的特性,可以通过基矩阵、移位矩阵以及权重矩阵来决定唯一的映射矩阵,因此能够有效地减少硬件的存储量。第三、映射矩阵中不存在四环,提升了译码过程消息的传递效率,进而提高了RCM译码算法的性能。本文的仿真从误码率性能以及吞吐量性能两个方面证明了最小环长规避的映射矩阵结构化构造方法的优越性。2、RCM在中高信噪比时展现出了良好的性能,然而,在低信噪比时性能有待进一步提升,级联纠错编码有利于提高低信噪比下的性能,最原始的级联映射矩阵中对应与校验比特的权重数量少且分布具有不规则的特性。权重数量少意味着符号中携带的比特能量少,因此容易产生误码。权重分布不规则使得校验比特位理论上具有不相同的误码概率,这两点极大地降低了级联方案的传输性能。本文针对生成码字的最小欧式距离进行了分析,通过分析发现增加校验比特对应的权重数量,并减少部分权重集合中元素的数量能有效地增加码字间的最小欧式距离。基于此原则,提出了距离优化的级联LDPC码的映射矩阵构造方法,利用此方法构造的级联映射矩阵,有效地增加了生成码字间的最小欧式距离。3、RCM的传输模型中接收端在译码失败时将会继续接收符号进行重新译码。每次译码过程相比上一次会利用更多的接收符号。然而,在译码过程中,译码失败时的软信息将会被全部丢弃,这造成了有效信息的丢失。通过对软信息的分布特性进行分析发现,软信息的分布具有近似高斯的分布特性,这也表明了绝对值更大的软信息有低的错误概率。根据软信息此特性,提出了基于先验信息的译码算法,利用此译码算法,有效地提高了译码性能。基于先验信息的译码算法通过设置阈值保留了有效的译码信息,在此基础上设置了追加传输符号数量进一步提升了译码性能,为保证系统的的稳定性,算法还设置了最大接收符号数量,当达到最大接收符号数量时将会丢弃所有的先验信息。4、提出了基于物理层加密的RCM安全传输方案,有效地提高了RCM传输的安全性。物理层加密技术主要利用从信道提取出来的密钥对传输信号进行加密。由于信道的短时互易性、空时唯一性以及时变性,从信道提取的密钥具有极强的安全性与实用性。物理层加密的RCM方案利用了从信道提取出来的密钥来生成动态映射矩阵。通过安全性分析,发现此方案具有巨大的映射矩阵空间保证了映射矩阵的安全,并且能够有效地抵抗已知明文攻击。