随着第五代移动通信时代的来临,与日俱增的智能终端及不断涌现的高速业务,导致频谱资源稀缺及利用率低等问题日益突出。如何实现频谱高度共享、满足更多类型高速业务的接入需求,是无线通信亟待解决的现实任务。认知MIMO技术兼具认知的智能灵活性和MIMO的空间传输能力,能够显著提升系统性能,随着研究的深入,想要进一步提升认知系统的系统性能,可以考虑引入新型技术。本文在underlay模式下,侧重研究基于非正交多址技术的认知MIMO网络的系统性能优化。论文的主要研究工作如下:1.针对underlay模式下的认知MIMO网络下行链路次用户系统容量的需求问题,提出一种基于非正交多址的认知MIMO网络中次用户系统的容量优化方案。首先,构造系统模型,并根据系统模型及非正交多址接收端的特性,推导出认知系统容量表达式;然后,在构造系统优化方程时,将非正交多址接收端解码的功率要求作为一个约束条件,将次用户的用户服务质量作为另一个约束条件;最后,采用凸优化理论结合数学归纳法求解最优功率分配系数,并验证解的合理性。仿真结果表明,所提方案能够一定程度上提升次用户的系统性能。2.针对认知MIMO网络上行链路认知基站吞吐量的需求问题,结合能量收集技术,提出一种基于非正交多址的认知MIMO网络中次用户基站的吞吐量优化方案。首先,在能量收集技术的基础上,采用等符号表示不同次用户的方式构建系统模型;然后,根据系统模型推导出新的最优功率分配方案,并将NOMA接收端解码的功率要求及用户服务质量作为约束条件;最后利用凸优化理论进行求解并验证算法的可行性。仿真验证表明,所提方案能够一定程度上提升认知基站的性能。