为了应对光通信系统频谱资源紧缺的问题,将光波空间螺旋相位结构相关联的轨道角动量(OAM,Orbital Angular Momentum)维度引入到光通信中。类似频率、偏振、幅度、相位等熟知的光波维度资源,OAM维度不同取值间正交且理论取值无限,因而OAM可用于复用通信并可为频谱效率提升提供新途径。OAM通信中由于信道损伤及信道串扰等影响性能会劣化,本文仿真研究了利用低密度奇偶校验(LDPC,Low Density Parity Check)码改善OAM复用通信的性能。首先研究了LDPC编译码对通信误码进行差错控制的工作原理,分析了不同码长、迭代次数及校验矩阵构造方法对LDPC迭代译码性能的影响,同时与Turbo码性能比较,结果显示LDPC码具有更低的误码平层,在长码时性能优于Turbo码。利用OAM自由空间复用通信系统模型,分析了OAM自由空间传播演变规律,利用Kolmogorov湍流相位偏移描述自由空间中的湍流影响,研究了密集复用小数阶OAM在大气中传输的特性及性能劣化,并使用LDPC技术改善了系统的误码性能,仿真结果显示系统编码增益高于8 dB。利用OAM光纤复用通信系统模型,分析了弯曲光纤和不同椭圆率光纤引起的OAM光纤复用通信性能劣化,并使用LDPC技术改善了OAM光纤复用通信系统的误码性能,结果显示系统编码增益高于10 dB。最后,讨论了LDPC技术在多级相移键控(mPSK,m-ary Phase-Shift Keying)调制格式中的应用,研究了LDPC技术在OAM数字图像传输中的应用,对比分析了LDPC码、Turbo码及空时网格子编码(STTC,Space-Time Trellis Code)在OAM复用通信系统中的性能。