近年来,随着移动互联设备数量的爆炸性增长,全球通信产业对无线频谱的需求日益增加。由于频谱资源的稀缺性,未来的通信系统将要探索与其他电子设备共享同一频段的可行性。这其中,雷达与通信的频谱共享是一个亟待研究的新兴课题。其内涵不仅包括促成雷达与通信设备的同频共存、互不干扰,从而高效利用频谱,还包括设计一种兼容二者的新型一体化系统,使得该系统能同时完成通信与目标探测两种功能。本文围绕MIMO雷达与多用户MIMO通信频谱共享的两种解决方案:1)雷达与通信系统的同频共存;2)雷达通信一体化系统设计,进行了深入而系统的研究。在互干扰信道估计、建设性干扰预编码、一体化波束成型以及一体化波形设计等方面取得了突破,主要贡献和创新型的研究成果分为以下几个方面:1.提出了雷达与通信同频共存场景下的信道估计算法。针对MIMO雷达的“搜索与跟踪”工作模式,以及基站对雷达波形参数的了解程度,设计了多种假设检验方法来判断雷达的工作状态,进而估计互干扰信道。为保证研究的全面性,我们考虑了衰落信道与视距信道两种共存场景。同时,利用统计学工具,分别给出了假设检验以及信道估计算法的理论性能。2.提出了雷达与通信同频共存场景下的基站端预编码算法。我们首先考虑对下行链路中的多用户干扰进行抑制,同时减小基站对雷达的干扰。随后,在多用户建设性干扰的视角下,我们对预编码算法进行了改进,并提出了基于梯度投影的快速算法,相对于基于干扰抑制的方案获得了性能增益。进一步,从实际约束条件出发,我们考虑了不完美CSI场景下的鲁棒预编码算法。最后,分析了基站干扰对雷达检测与估计性能的影响。3.提出了MIMO雷达通信一体化系统的波束成型方案。分别讨论了分离式与共享式两种天线阵列部署下的一体化波束成型设计,并利用半正定松弛算法对相关优化问题进行了求解。为加速共享式波束成型问题的求解过程,我们提出一种加权优化设计,并基于黎曼流形理论,提出了一种低复杂度的共轭梯度算法,在总功率与各天线独立功率两种约束条件下分别对问题进行了求解。4.提出了MIMO雷达通信一体化系统的全局最优波形设计方案。讨论了在给定雷达发射波束图样要求下,严格保证雷达功能并最小化多用户通信干扰的一体化波形设计。在此基础上,进一步给出了能够在雷达与通信功能之间进行权衡折中的波形设计方案。这三种方案均能给出问题的全局最优解,并具有极低的复杂度。最后,考虑了在给定雷达参考波形的条件下,具有恒包络特性的一体化波形设计,并利用分支定界算法求得了问题的全局最优解。