随着云计算、大数据技术的不断发展,4K视频、虚拟现实、视频直播等新的用户体验形式的出现,以及企业网、数据中心规模的持续扩大,诸多因素促进光传输网向超高速大容量发展,如何在不增加干线重建成本的基础上向超高速大容量升级是当前光通信系统面临的主要问题之一。研究表明,采用高阶调制格式可以有效提升系统传输容量,但是,谱效率和功率效率是一对矛盾体,当使用更高阶调制格式时,会使星座点间的距离很近,接收机的判决变得非常困难。此时虽然频谱效率较高,但功率效率变小。功率效率变小的后果是:在同样的发射功率和目标误码率下,系统传输距离将减小,为了解决这一问题,高维调制应运而生。高维调制格式同时应用光场中的正交态、时隙、频带、偏振态等自由度对数据进行调制,增加的自由度可以在不损失谱效率的前提下,最大化星座点间的最小欧式距离,进而增大信号的功率效率,能较好地解决现有二维调制格式谱效率与功率效率之间的矛盾。但是,高维调制技术作为一种新兴调制技术,依然有很多问题亟待解决:例如,高维调制格式的映射问题,承载问题,及信号处理问题等。只有很好的解决这些问题,高维调制技术才能在光通信系统中更好的发挥作用,解决二维调制格式谱效率与功率效率的矛盾,最终实现光通信系统传输容量的平滑升级。本文紧紧围绕高维调制格式的关键技术存在的问题,深入分析了高维调制信号的产生机理及实现方法,在现有高维调制技术的基础上,分别对高维调制的映射技术,承载技术及信号处理技术进行了深入研究。本论文的主要工作内容及创新点主要包括以下三个方面:1、针对高维调制格式的映射技术,本文提出了一种基于树形结构的高维调制比特-符号映射方法。以减小格雷代价为设计目标,通过建立星座点的树结构,使任意相邻星座点为欧氏距离最小的最近邻星座点,从而使高维调制信号的比特标签分配问题由随机变为有序,再通过有序分配标签保证最近邻星座点间的平均汉明距离最小,最终实现高维调制信号比特-符号映射的优化。与现有算法相比,树形结构映射计算复杂度较低,实现简单,适用于多种高维调制格式。文中给出了树形结构的建立流程,推导了树形映射的约束条件,分析了树形映射所能达到的最低格雷代价边界。通过搭建高维调制相干传输仿真系统,对树形结构映射下的系统性能进行了分析。仿真结果表明,与多次搜索实现的随机搜索映射相比,单次树形映射在不同维度,不同星座点数的多种高维调制格式下,以较小的计算代价就能有效的实现比特符号映射的优化,进而提升系统误码性能。2、针对高维调制格式的承载技术,本文提出了一种与正交频分复用技术相结合的高维调制格式承载方法。正交频分复用是一种多载波调制技术,具有多个正交子载波,可以灵活地开辟更多的独立空间维度,而高维调制恰恰需要在多个维度空间来完成比特-符号映射,提出的承载方案即是利用正交频分复用提供的正交子载波作为自由度来承载高维调制信号,这种方法既充分利用了正交频分复用的多个正交子载波为高维调制提供多个正交维度,又发挥了正交频分复用本身具有的抗色散抗频率选择性衰落的优势。与现有承载方式相比,提出的方法承载更加灵活,实现更加简单。仿真结果表明,与正交频分复用相结合的高维调制承载技术既能实现高维调制格式的有效传输,又能利用正交频分复用技术本身的抗频率选择性衰落的优势,有效的实现了不同维度调制信号的承载。同时提升了现有正交频分复用系统的传输性能。3、针对高维调制的信号处理技术,提出了一种基于星座基分解的高维调制盲均衡算法。为了降低高维调制格式信号处理的复杂度,首先将高维信号进行降维处理,转化为二维信号,通过引入“星座基”的概念,将等效二维信号通过不同正交态分组传输,每个正交态分别承载一类“星座基”,在接收端通过分别处理不同的“星座基”,实现高维调制格式的盲均衡处理。与现有方法相比,提出的方法无需训练信号,节省了频谱开销,能适应于多种高维调制格式,应用更加广泛。同时,本文将提出的盲均衡算法应用于正交频分复用子载波承载的高维调制系统中,建立了系统仿真模型。仿真结果表明,与最小均方误差算法相比,提出的高维调制信号处理方法能获得更优的星座图聚集效果,并且,在端到端系统,以及长距离传输系统中,均能获得更优的系统误码性能。同时,该方法能实现更加灵活的谱效率。本文通过对高维调制信号的产生机理及实现方法的深入分析,分别对高维调制的映射技术,承载技术,以及信号处理技术做了进一步研究。针对这三个方面关键技术提出了新方法。所提方法在高维调制格式下的系统性能的提升,实现的复杂性,以及不同维度调制信号的兼容性等方面具有一定程度的改善,为研究高维调制技术在光通信系统中的应用提供参考。