随着信息化社会的迅猛发展,远程手术、沉浸式体验、智能家居和车联网等多种多样的业务应用场景应运而生,由于当前网络难以满足多样化场景下的差异化性能指标要求,因此面向未来的第五代移动通信(5G)技术成为了全球研发热点,5G技术是满足不同需求的新一代移动通信技术,它结合了现有的多种技术,可以满足未来大规模数据流量和高密度设备连接的发展的需求,且可以大幅度提升用户的体验质量。在无线通信系统的发展进程中,多址技术一直是实现多个用户同时通信的必要前提,移动通信系统的发展始终都伴随着各种多址技术的出现。为了满足5G场景下的要求和挑战,新一代非正交多址技术(NOMA)引起了广泛的关注和研究。本文重点研究基于大规模双极化MIMO的NOMA系统模型和传输机理,提出能有效抑制干扰的预编码方法,降低传输误码率,提高系统频谱效率,实现提升系统性能的目的。在空间距离相近的小区中心用户和小区边缘用户成簇的场景下,本文探究实现系统无干扰传输的预编码方法。目前传统的NOMA系统主要是在功率域上实现复用,依据的是同一用户簇内用户间信道条件的差异,但是两用户的信道条件相差不大的场景下,系统难以保证正常传输。针对这个挑战,本文引入极化域,利用大规模MIMO系统中用户间信道趋于正交的特点和克罗内克积的性质,探究系统实现一定条件下的无干扰传输方法,继而探究大规模MIMO场景下系统性能的实现情况。在改进的预编码算法中,利用信道的极化衰落以及空间相关性变化缓慢且稳定的特点,实现系统的正确传输,仿真验证采用该算法的NOMA系统性能相较于同样条件下的其他NOMA系统的性能的实现情况。另外,在空间距离远离的小区中心用户和小区边缘用户成簇的场景下,探究存在反馈误差时系统的性能实现情况,之后利用极化域资源可以降低系统的复杂度的特点,将单小区下行传输系统内同极化中心用户和边缘用户两两成簇,在用户接收端抑制簇间和簇内干扰后,优化用户信号功率分配,实现提升系统频谱效率的目的。最后在两种用户成簇方式同时存在的场景下,验证系统性能的实现情况。