大容量、高速率已经成为5G通信传输的显著特征,毫米波频段因拥有巨大的频谱资源开发空间而成为下一代通信技术的研究热点。通过引入轨道角动量(Orbital Angular Momentum,OAM)作为传输信号的载体可以有效解决毫米波频段的波束功率损耗问题,提高接收信号的纯度。然而,在复杂多变的干扰环境中OAM模态的能量迁移特性对接收端信号接收检测提出了新的挑战,同时依托高频段资源传输使得OAM模态串扰现象更加突出,严重影响了系统传输的有效性和可靠性。因此,如何刻画模态跃迁带给系统的干扰分布,并对传输链路的模态进行合理的选择调度,以降低模态串扰,提升传输速率,成为了OAM毫米波通信系统能否用于实际通信传输的关键问题。本文基于功率谱分析理论和遗传算法理论,结合OAM毫米波的模态迁移和信道特性分析,探究收发偏移场景下的模态选择分配问题。具体研究内容如下:首先针对高速率传输的5G通信传输场景提出了OAM毫米波通信系统。针对频谱资源短缺的问题,指出了毫米波频段具有资源充足、频谱利用率较高的优点。由于毫米波在自由空间中传播时具有很高的路径损耗,考虑引入OAM这一新的自由度构建多路OAM毫米波信号的系统传输模型,用于毫米波通信技术的深度开发。该系统模型可以极大地提高传输容量和频谱利用率,有效解决传输过程中的波束损耗问题,提升毫米波通信系统的性能,以适应海量高速传输业务的需要。其次,针对收发两端不对齐带来的模态跃迁,借助光通信中的理论方法,获得不同发射增益和传输距离下各传输链路的衰落系数,并根据收发两端的空间相对位置将接收端信号建模成多路OAM毫米波信号的叠加,刻画出接收端OAM迁移模态的功率分布。从而推导出收发两端的信道特性系数并构建信道传输矩阵,完成对收发端横向轴偏移情形下的OAM毫米波通信系统的信道建模。并进一步基于该矩阵对系统容量进行了计算分析,为提升系统在偏移场景下的传输性能奠定理论基础。最后,基于构建完成的系统模型和信道模型,采用功率谱分析法,并充分考虑偏轴因素下OAM模态间的功率分布特性,紧紧围绕因模态串扰带来的限制因素,以降低系统中模态间的串扰为目标导向对如何选择合理的模态集进行了最优化问题的建模。并在传统遗传算法的求解过程中引入自适应因子,寻求该优化问题的最优解,有效降低了系统中的模态串扰,提高了系统的接收性能。