现有的无线通信系统是以时分复用、频分复用等复用技术为基础,其对传统频谱资源（时间、频率等）的利用正不断逼近理论极限,难以采用传统的复用技术来显著提升系统频谱效率。作为一种新型的通信资源,涡旋波的轨道角动量（Orbital Angular Momentum,OAM）可以显著提升频谱利用率。为了避免涡旋波波束产生严重的中空发散和传输损耗,现有的涡旋波通信主要利用低整数OAM模态,导致涡旋波可复用的OAM模态数难以满足大量用户的接入需求。针对多用户涡旋波通信场景,需要利用多址技术在复用OAM模态资源的同时控制同OAM模态用户之间的干扰。速率分拆多址接入（Rate-Splitting Multiple Access,RSMA）作为灵活管理信道干扰的多址传输技术,使用公共信息与私有信息的分拆传输模式。其公共信息可由所有用户解码而私有信息仅允许私有用户解码,有效提升了多用户接入系统的性能。为了提高涡旋波通信的用户接入能力与速率性能,本文将涡旋波通信与RSMA技术相结合,研究了涡旋波通信的RSMA预编码优化算法;在涡旋波通信的公平问题中提出了RSMA结合空分多址接入（Space Division Multiple Access,SDMA）的传输方式,研究了多址接入选择与预编码优化算法。面向基于RSMA的涡旋波通信,论文进行了以下工作:（1）为了最大化涡旋波通信的系统和速率,研究了涡旋波通信的RSMA预编码优化算法。在多用户场景下,基于均匀圆阵列天线建立了采用RSMA技术的涡旋波通信系统模型。结合分式规划算法推导了最大化系统和速率的预编码优化算法。仿真部分通过将不同的多址策略、涡旋波OAM模态组合对系统和速率的影响进行比较分析,验证了基于RSMA技术的涡旋波通信策略在系统和速率上的性能优势。（2）为保障公平性设计了RSMA-SDMA涡旋波通信的预编码优化算法。建立了基于RSMA-SDMA的多用户涡旋波通信系统模型。针对用户公平速率问题,提出了双层轮换多址优化算法,优化了涡旋波通信的RSMA-SDMA预编码和多址接入的选择。仿真通过对不同的多址策略、涡旋波OAM模态组合、优化算法对用户公平速率的影响进行比较分析,验证了优化预编码的RSMA-SDMA涡旋波通信策略在用户公平速率上的性能优势。