随着信息社会的快速发展，宽带无线业务的剧增直接导致空中的频谱资源愈加紧张。如何高效合理地利用有限的频谱资源已成为无线通信领域的挑战性课题之一。从高阶调制，到时下流行的多天线系统、认知无线电(CR)技术均在一定程度上提高了频谱利用率，却并未从根本上改变频谱资源不足的现状。因此，能够满足现有无线电管理规范的高频谱利用率的“超窄带”(UNB)调制技术引起了人们的关注。其中，连续相位的扩展二元相移键控(CP-EBPSK)调制频谱利用率较高，但解调性能差。本文以CP-EBPSK调制为出发点，对高效调制系统的数字冲击滤波器设计、调制波形优化、解调器设计、可靠性传输等关键技术进行了研究。主要内容如下:　　 1)根据CP-EBPSK调制的解调要求，设计了合理的变量、目标函数和约束条件，考虑到硬件实现时的有限字长效应，提出了一种基于量子粒子群(QPSO)算法的数字冲击滤波器设计方法，仿真证实了该方法的有效性。同时，研究了相位极性对EBPSK冲击波形和CP-EBPSK冲击波形影响截然不同的原因，并设计了基于CP-EBPSK冲击波形的匹配滤波解调器。　　 2)为消除随机极性CP-EBPSK调制信号在2倍载频处的最高旁瓣，提出了带功率谱形状调节系数的随机极性MCP-EBPSK调制，仿真验证了该调节系数对功率谱的调节作用，对比和分析了CP-EBPSK、随机极性CP-EBPSK和随机极性MCP-EBPSK的功率谱、-60dB带宽和频谱利用率。利用基于QPSO算法的自动搜索法设计了合适的数字冲击滤波器用于解调，对比了CP-EBPSK、随机极性CP-EBPSK和随机极性MCP-EBPSK本身的解调性能，以及自适应门限判决、BP神经网络和SVM解调器的性能，引入RS码、卷积码和规则LDPC码来改善传输性能，并仿真了多径信道下的传输性能。　　 3)保持功率谱结构和带宽不变的前提下，将随机极性MCP-EBPSK调制扩展至多元位置随机极性MCP-EBPSK调制，从而成倍提升了信息传输速率和频谱利用率;对比了多路判决、贪婪判决和合理判决3种判决方式的解调性能，以及合理判决、BP神经网络和SVM解调器的解调性能;引入RS码和LDPC码来改善传输性能。　　 4)为进一步改善多元位置随机极性MCP-EBPSK调制信号的频谱利用率，充分利用相位调制的位置和极性来携带多进制信息符号，提出了多元位置的3值MCP-EBPSK调制，设计了针对冲击滤波响应的BP神经网络或SVM的解调器，通过功率谱和解调性能仿真证实了新调制方式的优越性。　　 5)为同时改善不对称的随机极性甚小幅相(ARP-VMAP)调制信号的频谱利用率和能量利用率，提出了一种多元位置3值VMAP调制器，设计了基于BP神经网络或SVM解调器的锁相接收机，并通过功率谱和解调性能仿真证实了新调制方式的优越性。