NOMA是5G通信中的关键技术之一,其打破了传统的正交多址接入（Orthogonal multiple access,OMA）系统只能将同一资源分配给一个用户的限制,满足未来海量接入的需求。而NOMA系统与MIMO技术结合可以显著提升NOMA系统的容量,且也能提升MIMO系统的吞吐量等性能,在目前的研究中表现非常突出。优化MIMO-NOMA系统的关键技术对于提升系统性能有着非常重要的现实意义,本文通过对NOMA技术进行研究,并在NOMA系统中结合MIMO技术,研究了系统的功率分配和多用户检测等技术,并得到了一些重要成果。首先,对NOMA系统的功率分配方案进行了研究,并提出一种联合功率分配（JPA）方案,能够最大化系统总吞吐量。其中簇间采用迭代注水功率分配（IWFPA）算法使每个簇分得的功率与该簇的信道状态呈正比,即如果一个簇的信道状态越好则分得的功率就越多,反之信道越差则分配越少甚至不分配功率,这样可以确保系统整体的传输速率等性能更加优异。其次,在对簇间分配完功率之后,对簇内的用户采用二分法逼近的算法进行功率分配。首先证明了分配更多功率给信道增益好的用户可以提升整个簇的总吞吐量,然后在确保弱用户分得的功率能达到接收端正确检测标准的前提下,采用二分逼近的方法求解分配给强用户的功率,使之尽可能大。最后通过仿真对比了所提方案与其他传统功率分配方案以及两篇论文中的方案,证明了本文的JPA方案的可行性。其次,对MIMO-NOMA系统的多用户检测（Multi-user Detection,MUD）技术进行了研究,并提出一种低复杂度且性能也较好的WNS-MMSE-SIC检测算法。先将最优多用户检测与次优多用户检测的性能与复杂度进行对比分析,综合考虑之下本文采用MMSE-SIC检测算法。然而MMSE-SIC中存在大矩阵求逆的问题,会使复杂度上升,尤其当收发天线数量以及用户数量很大时,这种复杂度可能使该方案变得不可行。而采用诺伊曼级数近似的方法可以使求逆复杂度大大降低,但是带来的缺点就是系统误差增大,检测准确性降低。为此提出一种改进的MUD算法,即WNS-MMSE-SIC,可以在降低复杂度的同时,使近似带来的误差降到最低,从而提升系统性能。文中给出了NS的阶数对于系统的影响,然后通过采用将NS近似求得的近似逆矩阵与精确矩阵相乘,并与单位矩阵求均方误差的方式,找到不同天线组合下的最优加权因子。最后通过仿真结果分析,证明了所提的WNS-MMSE-SIC算法可以在大大降低系统复杂度的前提下,性能也比不加权的情况好。