随着5G、人工智能、大数据等新兴技术和业务的不断发展,全球互联网流量成爆炸式增长。光传输网作为现代化通信骨干网络,传输信道容量面临着越来越大的压力,对大容量和长距离光纤传输系统的需求越来越高。目前,商用的单波100G、400G光纤传输网中主要使用的是PM-QPSK,PM-16QAM调制格式,若单波800G或T比特,需要使用64QAM等更高阶的调制格式来增大频谱效率,然而传输距离会受到限制。因此,为了解决传输距离和传输容量之间的矛盾,多维调制技术被提出。通过引入多种自由度（如偏振态、时域、正交模式、波长等）对信号进行联合调制,构建多维星座使得信号点之间的最小欧式距离最大化,优化频谱效率与渐进功率效率之间的关系。未来光通信系统必将趋于多种传输速率和多种调制格式相结合的形式,调制格式的识别技术在光通信领域受到越来越多的关注。多维调制格式作为一种新型的光调制技术,在调制格式识别方面还有待进一步研究。本文主要围绕新型多维调制格式以及多维调制格式的识别两个方面进行深入的研究,提出了一种基于子集选择的新型多维调制格式,将其应用到8PSK、16QAM、以及多维网格编码调制中。在调制格式识别方面,提出了一种stokes空间映射结合聚类算法的多维调制识别方法,以及一种针对多维分集调制格式的识别方法,本文主要开展了以下工作:（1）提出了一种基于子集选择的多维调制方法,该方法在信号编码调制过程中通过连续传输多个同类型的子集点,使信号子集间最小欧式距离增大,渐进功率效率得到提升。仿真结果表明,8PSK、16QAM在使用子集选择调制后传输性能有所明显改善,获得3～6dB编码增益。另外,将子集选择调制与多维网格编码调制相结合,仿真了基于子集选择调制的6D-TCM-8PSK信号的传输性能,结果表明,与未使用子集选择相比,该方法获得了 1.8dB的编码增益。（2）研究了一种基于stokes空间结合减法聚类的调制格式识别方法,实现了对QPSK、8PSK、16QAM三种二维调制格式以及PS-QPSK、6Pol-QPSK两种多维调制格式的识别,仿真结果表明,在大于FEC校正误码率相对应阈值的信噪比条件下,识别准确率能达到100%。（3）提出了一种针对多维分集调制格式的识别方法,该方法对已知基础星座的多维信号进行识别,通过信号点映射到星座上的位置获得其子集编号,对一组信号点中子集编号的排布规律提取对应分集编码调制方式的特征值,实现了对多维SP-QAM和多维TCM调制格式的识别。