我们正处在一个新兴技术不断出现并迭代的时代,5G通信技术开始大规模试运营,AI、自动驾驶、和云服务等技术也崭露头角。这些新技术的发展无不依赖于规模越来越大的数据量,因此这也给我们目前的光网络的传输速率提出了更高的要求。自光纤通信问世以来的半个多世纪里,光通信网络的传输速率已经得到了极大的发展。然而标准单模光纤自身存在的非线性效应已经决定了传输速率无法继续大幅度提升,目前的光网络已经逐渐逼近了其香农极限。为了突破这一限制,研究人员开始着眼寻找更多的扩容方式。而模分复用技术作为空分复用的一种,也越来越成为一个研究热点。模分复用采用空间上正交的几个线偏振模作为互不干扰的信道进行通信,因此相较于普通的标准单模光纤可以成倍的提升系统容量。而直接检测通信方案以其低成本、低复杂度等优势,在数据中心等短距离通信场景具有更好的实用性。但相较于相干通信系统,直检通信对于模式耦和等干扰的影响更加敏感,这也是我们需要解决的问题。本论文主要围绕基于少模光纤的模分复用直检通信系统展开,提出了基于少模光纤的模分复用直检通信系统的理论模型,并从仿真和实验的角度验证了其可行性,并对其性能进行了研究分析。本文的主要研究内容及主要创新有:研究了基于少模光纤的模分复用通信系统的传输链路模型,论证了模分复用的可行性;研究了传输链路中的模式之间的随机耦合和模间色散,为后续建立基于少模光纤的模分复用直检传输单边带信号的传输系统理论模型打好基础。基于少模光纤传输链路的理论模型基础,研究了传输单边带信号的直检传输系统的理论模型。在该系统中使用脉冲幅度调制的高级调制格式用于实现更高的频谱效率并降低每比特成本,另一方面,使用光学单边带调制以减轻功率衰落效应并使光谱效率加倍。针对该理论模型中接收信号中因单边带调制和模式耦合等因素带来的三种损伤提出了不同的解决办法。利用Matlab仿真软件搭建了基于提出的理论模型的仿真平台,通过传输仿真实验首先验证了该传输方案的可行性,并逐步验证了消除相关损伤的算法的可行性。在仿真结果的基础上,搭建了基于模式选择性光子灯笼以及渐变折射率双模式少模光纤的传输实验平台。通过不同耦合大小下的不同速率的双路单边带PAM信号的模分复用直检传输实验,实验验证了该模型的可行性,并对该系统的性能进行了分析。