随着移动通信业务和数据量的爆炸式增长以及对通信服务质量、覆盖范围的高标准要求,卫星通信,特别是多波束卫星通信,近年来愈发得到重视。传统的多波束卫星通信在服务大量用户时,容易忽略信道条件差的用户,使得资源分配不合理,导致用户公平性降低。而非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术能够应对海量用户接入,具有较高的频谱效率和用户公平性。因此在多波束卫星通信中加入NOMA技术,能够更充分地利用功率域资源,提高系统性能和用户公平性。本文围绕基于NOMA的多波束卫星通信系统中用户分组和功率分配算法展开研究,主要研究工作如下:1.针对多波束卫星通信系统前向链路中资源分配不合理的问题,提出了一种基于NOMA的用户分组和功率分配联合优化算法。在考虑用户分组、卫星发射功率以及用户最小服务质量等约束条件下,构建系统传输速率最大化的资源分配问题。为解决该资源分配问题,首先,提出了一种基于聚类的NOMA用户分组算法。利用信道相关性和信道增益差对多用户分组,使得单个波束下能同时服务多个用户且降低用户间干扰。然后,基于用户分组结果,将原资源分配问题转换为多个功率分配非凸子问题,再利用松弛变量法和泰勒近似法,使上述非凸子问题转换为凸优化问题。最后提出了一种传输速率最大化的迭代功率分配算法。仿真结果表明,所提算法在保证用户公平性的前提下具有较高的系统传输速率。2.针对多波束卫星通信系统的能效优化问题,在确定用户分组的情况下,提出了一种基于能效优化的功率分配算法。采用斯坦克尔伯格博弈模型,将用户设为买方,卫星设为卖方。在用户服务质量约束和用户公平性约束条件下,构建双方的效用函数,通过寻找最优功率分配策略来实现效用函数最大化。由于用户效用函数是分式的非凸问题,首先利用Dinkelbach算法转换为减数形式的凸问题,然后利用拉格朗日数乘法对凸问题求解。所提算法首先在内层迭代求得最优功率分配策略,然后外层迭代计算系统能效。仿真结果表明,所提算法在系统能效上有较大的提升。