毫米波大规模多输入多输出（Multiple input multiple output,MIMO）架构和非正交多址（Non-Orthogonal Multiple Access,NOMA）技术的结合被认为是满足不断增长的数据速率需求的解决方案。考虑毫米波MIMO-NOMA系统的下行链路,其中基站（Base station,BS）配备有大规模天线阵列,该天线阵列使用混合预编码来减少所需的射频（Radio Frequency,RF）链的数量,降低了性能损失,且硬件成本更低。在毫米波大规模MIMO-NOMA系统中,用户间干扰对系统性能有显著影响,合理的用户分簇方案和功率分配算法具有十分重要的意义,本文提出了这类系统的用户分簇策略、混合预编码方案和功率分配优化算法,以保证提高频谱效率和最大化系统能效。本文的主要研究内容如下:首先,为了提高系统性能,需要同时考虑信道增益与信道相关性的影响因素,我们选择信道增益最大的用户作为第一个初始簇首,引入能够度量信道相关性的阈值,并通过阈值的不断自适应更新和信道相关性来确定其他用户簇的簇首,本文算法后期能够将其余用户迭代地分配到不同的簇,从而得到更加准确的分簇结果以及分簇后用户调度传输,这样有效提升了系统频谱效率。其次,由于系统所需射频链数量的不断增加,MIMO-NOMA系统的能耗将大幅增加,我们采用一种高维模拟预编码器和低维数字预编码器两阶段设计的方法,来显著减少所需的射频链的数量,从而降低系统能耗,并且不会造成明显的性能损失。根据前面所选择的簇首为所有波束设计模拟预编码。之后,根据用户的等效信道的相关性进行用户分簇。最后,通过在每个波束中选择具有最强等效信道增益的用户来设计数字预编码,相较于其他线性预编码,采用低复杂度的迫零预编码,能够完全消除簇间干扰以及簇内各数据流间的干扰,并且适合多天线数系统和多用户数的情况。最后,建立了数据速率和功率约束下的能源效率最大化问题,功率分配优化问题是一个非线性优化问题,求解该约束优化问题,一般的次优求解算法速度不一定是最快的,其解也不能保证是全局的最优解,即很容易只得到局部最优解。而且由于弱用户受到强用户和其他簇的干扰,很难直接解决优化问题。因此,采用了一种群体智能鲸鱼优化（Whale optimization algorithm,WOA）算法来求解最优解,采用随机或最佳搜索代理来模拟座头鲸的捕猎行为,并使用螺旋气泡网捕食攻击机制,但是此算法存在着一些问题,当达到迭代的后期,WOA算法的收敛速度会逐渐变慢,并有可能陷入局部最优。为了解决这一问题,在螺旋捕食阶段,引入权重因子和适应度值更新,进行了优化改进。改进后的算法在求解功率分配最优解的过程中,提升了全局寻优能力,减少了迭代求解次数,并且提高了后续迭代中的搜索效率,最终有效提升了系统的能量效率。本文在系统中设计了合理的用户分簇算法、两阶段混合预编码方案和高能效功率分配优化算法,结合对比不同算法的仿真结果,系统的频谱效率和能量效率都得到了大幅提升。