调制方法是数字通信系统中最基础的环节,对通信系统的性能具有关键性的影响。当前通信事业得到了飞速发展,但是调制方法的研究进展却相形见绌。本论文的研究工作针对传统调制方法所遵循的正交约束而展开,以放松正交约束为中心线,对数字通信的调制方法进行了探讨和发展。以下是本论文工作的主要内容以及贡献。本文将传统调制方法的数学模型置于统一的信号空间中。在此基础上分析了正交约束的积极作用和消极作用。给出了包含正交调制和非正交调制的调制框架。针对正交约束消极作用的表现,提出放松正交约束以发展新调制方法的研究思想,称为非正交思想。正交频分复用系统(OFDM)的脉冲成形受到正交约束的严格限制,导致其对频率色散敏感。本文提出将正交约束放松至一种更宽松的约束条件,从而得到一种新的OFDM方法,称为GOFDM。在GOFDM中,复符号的实部和虚部允许采用不同的脉冲成形,这就减轻了正交约束对脉冲设计的限制,使GOFDM获得了更大的设计灵活性。该特性增强了GOFDM对抗频率色散的鲁棒性,同时也未降低其抗噪声性能以及抗时间色散鲁棒性,这是现有相关研究所不具备的。理论分析了GOFDM抗频率色散性能和脉冲成形设计的关系,研究了GOFDM中频率色散所带来的串扰在星座图上的分布。对采用一维和二维星座图的GOFDM,分别给出了抗频率色散的优化设计。实验表明,上述设计较传统OFDM具有更佳的抗频率色散性能。Nyquist第一准则所包含的正交约束对设计具有高频谱效率的脉冲成形带来了困难。针对这一问题,本文提出将非正交脉冲所构成的非正交基进行正交化,并应用于调制系统,从而得到了一种时频域联合内插滤波的结构,称为ORTH。对ORTH在多载波调制的应用进行了研究,分析了ORTH在实现复杂度、频带利用率和均衡器设计等方面的性能,探讨了其在带宽受限系统中设计和应用。实验表明,与传统的OFDM相比,ORTH在逼近Nyquist速率方面具有更高的实现效率。对ORTH在基带调制的应用进行了研究,给出了一种新的具有可控参数的Nyquist设计方法。与传统的升余弦脉冲相比,其在正交性和频谱效率方面更为优越。正交约束使得传统调制方法的符号速率不可能超过Nyquist速率。本文在总结现有研究成果的基础上进行了进一步的研究。提出占用带宽和必要带宽的概念,指出突破Nyquist速率的研究必须基于必要带宽才有意义。证明了采用逆映射解调的系统不可能在必要带宽意义下突破Nyquist速率。为了突破这一限制,必须放弃正交约束并采用最大似然(ML)解调。引入ML解调下的必要带宽概念,将所考察系统的传输效率与传统正交系统进行比较。提出完全去除正交约束的非正交调制技术,简称NMT。首先,推导了NMT的误符号率理论公式,从理论和实验两方面分析了NMT在占用带宽意义下的频带利用率性能,证明了其优于传统调制方法。其次,以占用带宽意义下的系统性能为基础,证明了在必要带宽意义下NMT可以突破Nyquist速率。为降低ML解调的复杂度,提出解线性方程和ML相结合的解调思路,并给出两种具体的方法。最后,对NMT在xDSL线路环境进行应用仿真和频谱兼容性评估工作。结果进一步验证了NMT的实用性。