由于无线频谱资源的稀缺性,如何提升频谱效率成为下一代移动通信研究的一个重要方向。本文首次提出基于非正交智能信号处理的无线通信系统来提高无线通信系统的频谱效率。本文以广义共享信道的无线系统为研究内容,主要研究了该信道下非正交多重调制和多址接入这两个基本问题。论文将非正交多重调制思想扩展到时域、频域、码域的重叠多址接入系统,并首次提出小波框架下时频域、码(波)域、空域四维结合的系统框架。在编码领域,在国内首次提出采用代数几何码纠错提高系统性能,并以OV-CDMA系统为模型,仿真验证了时频广义互补码和代数几何码重叠编码结构的可行性。论文创新工作主要集中于以下四部分：第一,建立了基于Gabor时频变换和Gabor原子解码的N (OM) HDM(非正交混合复用)完整系统框架结构。NHDM可以看作是时域重叠的NTDM和频域重叠的NFDM级联组成的系统。频域NFDM采用了快速Fourier变换,而时域是移位叠加。基于Gabor变换之后,可以同时将信号进行时域和频域重叠,滤波器组的系数为Zak变换,并证明这种组合变换方式可以用短时FFT算法实现。在性能分析中,证明独立同分布并联信道的容量低于共享信道。这种NHDM方式的频谱效率可高达6～10bps/Hz。解码算法采用了置信传播(BP)的多层Gabor原子神经网络模型。这是一种Bayes分析算法,可以将重叠编码信号分类,而不是对每个用户译码,极大降低译码复杂度。第二,本文首次将无线通信的纠错码扩展到复数域,并采用代数几何码观点分析Turbo码。系统的编码调制采用复数域的Turbo码进行重叠调制,多路并行复用传输,在各路编码之间形成自然的编码约束关系,其性能完全由其编码矩阵来决定。本文讨论了复数域Turbo代数几何码串行级联、并行级联和阵列码译码算法,分析了复数域Turbo码的自由距离特性。本文还讨论了谱效率为6左右的级联编码,采用优化算法可以降低复杂度,并逐渐向仙农界逼近。第三,本文在OV-CDMA系统中,首先提出了采用广义互补码的多址系统。本文对广义互补码进行扩展,可以获得时频域的扩频增益。在多个小区间,采用不同频率或正交码字进行间隔,减少小区间干扰。在译码阶段通过增加均衡并采用快速序列译码,降低了系统复杂度。本文还探讨了高速移动环境下的码字自相关和互相关特性,证明OV-CDMA可以支持高速移动环境。第四,在探索性议题中,对于OV-CDMA系统,采用了量子纠缠态理论予以理论解释,认为重叠多址是宏观形态下的状态纠缠,以及多用户纠缠的可分离性。另外OV-CDMA,在复数域编码，这样采用有优美数学结构的代数几何码可以在数学结构上更严谨,也便于硬件实现。本文探讨了代数几何码形式的LDPC码的密度进化、EXIT图两种优化方法,并在TD-LTE系统上验证其可行性,可以为代数几何码译码的发展提供思路。现有的4G LTE系统,其单天线频谱效率在2-4bit/Hz/s,本论文的研究使单天线频谱效率可达6-10b/Hz/s,且解调门限与Shannon限仅相距1dB左右。传统无线通信的编码、调制都是采用欧氏坐标,本文将编码域扩展到复数域的仿射空间,扩大了可使用无线资源并提升了其使用效率。经仿真和实验验证,本文提出的创新方法,能够提升无线通信系统的性能。在学术上,本文的一些基本思想,也为未来无线通信的研究开拓了新的方向。