随着5G、物联网、云计算等新技术的不断发展,在大数据传输中具有基础支撑作用的光通信系统,需要有更优良的传输性能才能去更好地适应飞速发展的通信传输速率和互联网数据流量。因此,对光传输网络进行相关的理论和技术研究,是引入新技术和实现超高速大容量的必要过程。近年来,深度学习（Deep Learning,DL）中的卷积神经网络（Convolutional Neural Networks,CNN）在光信号的性能监测和物理损伤诊断中得到了广泛的应用,而生成式对抗网络（Generative Adversarial Networks,GAN）作为计算机视觉领域的主流技术,其在图像生成与数据增强方向发挥着重要作用,因此将GAN与光传输系统中的信号处理和数据增强等问题相结合,可以有效解决传统光通信中训练数据欠缺、模型泛化性弱等问题。基于DL强大的学习能力以及GAN在图像处理领域的强大应用,本论文围绕光传输系统中眼图与星座图的数据增强等问题展开了相关的技术研究。本论文的主要工作及其创新点如下:第一,针对已有的DL与光信号结合应用技术主要集中在神经网络模型结构,并且依赖于大数据量和强计算能力的特点,提出了基于GANs的光信号图像生成方案,验证了生成式对抗网络与光信号结合应用进行图像数据扩充的可行性。第二,针对光通信中已有研究中出现的CNN在模型训练时缺乏大规模、高质量数据集的问题,提出了一种基于深度卷积生成式对抗网络（Deep Convolutional Generative Adversarial Network,DCGAN）的眼图数据生成方案。仿真结果表明,在强度调制直接检测系统（Intensity Modulation Direct Detection,IM-DD）的 PAM4（Pulse Amplitude Modulation）信号的眼图数据集的基础上,该方案可以生成类似真实样本的新图像,且调参后的模型经过多轮的迭代训练,判别器的正确率可以接近0.5,说明可以得到较为理想的眼图图像生成效果,验证了数据增强方法的模型可行性和高效性。第三,针对上述基于DCGAN的图像生成方案存在生成图像过于自由且不可控的缺点,提出了一种基于条件生成式对抗网络（Conditional Generative Adversarial Network,CGAN）的眼图与星座图数据增强方案。在对PAM4信号的眼图和PM-16QAM（Polarization Multiplexing-Quadrature Amplitude Modulation）信号的星座图的数据增强中,分别以不同的损伤类型和不同的传输距离作为模型条件,来进行数据扩充。仿真结果表明,分别将原数据集和增强后的数据集应用在CNN分类模型中,通过比较发现,数据集扩充后的分类能力比扩充前提高了约5%,较大地提高了分类模型的泛化性,有效解决了算法训练数据样本集不足的问题。