本文从空间电磁场的数学描述出发,提出了无线通信中使用电磁波信号的幅度、辅助极化角与极化相位差异角进行三维调制的理论和方法,建立了三维极化幅度调制信号的模型,给出了基于矢量天线实现三维调制的方法。为了对研究的三维调制信号进行解调,本文根据收发天线数量和位置的不同,提出了分别适用于单信号源单矢量天线接收、单信号源矢量天线阵列接收和多信号源矢量天线阵列接收等几种情况的三维调制信号的解调方法,其中包括：收发天线正对时的解调方法及天线方向的校正方法；已知DOA方向的最小二乘解调方法；未知DOA方向的总体最小二乘解调方法；矢量天线阵列各方向噪声不同情况下的加权最小二乘解调方法和基于ESPRIT的多个信号源解耦最小二乘解调方法等。对所提出解调方法误码率性能的分析与仿真结果表明：提出的三维调制解调器具有信息传输速率高、系统误码率低等特点。同时,几种解调方法的比较研究结果也为人们根据不同的应用情况来选择适当的解调方法提供了参考。为了有适应三维调制解调的三维星座图,本文研究了以格理论为工具来构造三维星座图的新方法,设计了发射功率最小且误码率最低的新型三维六角形星座图,并给出了这种三维六角形星座图的基础编码增益、成形增益、平均功率和误码率等参数的计算方法。借助于所给出的计算方法,本文对三维六角形星座图和现有的几种三维星座图进行了对比研究。分析与仿真结果均表明：本文所提出的三维六角形星座图具有发射功率小、误码率低等优点,具有广泛的应用价值。为了更深入地分析三维星座图所对应三维调制信号的频谱特性,本文推导了三维调制信号功率谱的计算公式,并利用它们对三维六角形星座图对应调制信号的功率谱进行了分析与仿真。为了抑制其功率谱中存在的离散谱分量,本文提出了不含离散谱分量三维星座图的设计方法和脉冲信号的成形方法。分析与仿真结果表明,这两种方法均可使离散谱分量得到有效抑制。本文还仿真实现了三维调制解调器系统,建立了其发射端和接收端的系统模型,并通过SystemView软件绘制了三维调制解调器的电路原理图,并对三维调制解调过程进行了动态仿真,实验结果表明,仿真信号的波形、星座点分布以及功率谱密度与理论值相符合,验证了本文对三维调制解调器性能的分析结果。