多输入多输出（MIMO,multiple-input multiple-output）雷达是当前新体制雷达技术领域的研究热点,其特点是每个发射天线可以发射不同的波形,与相控阵雷达所有阵元发射相同的波形相比,MIMO雷达的波形分集能力能够带来更多的发射自由度。通过波形设计,可以实现MIMO雷达资源的灵活分配,提高雷达系统性能。围绕着MIMO雷达波形设计,本论文针对MIMO雷达的发射方向图匹配设计、发射波形和接收滤波器联合设计以及多目标环境下基于信息论准则的认知波形设计等问题展开研究。本文的主要内容和创新点总结如下:第一部分针对恒模约束下的MIMO雷达发射方向图匹配设计问题,提出了一种基于黎曼积流形共轭梯度法的方向图匹配设计（PRM-BMD）方法,推导了所构造积流形的黎曼几何结构以及目标函数的黎曼梯度。该方法直接在所构造的积流形上进行梯度搜索,提高了发射方向图匹配性能,降低了计算复杂度。第二部分针对杂波环境下的机载MIMO雷达发射波形与接收滤波器联合设计问题,分别提出了基于复圆环流形和基于复定秩流形的优化算法,即JD-CCM方法和JD-FRM方法,以求解最大化SCNR为准则且具有恒模约束条件的非凸优化问题。其中,JD-CCM方法将波形的恒模约束构建为复圆环流形,JD-FRM方法将波形协方差矩阵的搜索空间构建为复定秩流形,并采用交替优化的方法求解恒模波形与滤波器。所提方法解决了现有算法中对非凸优化问题松弛或近似带来的模型误差,提高了输出SCNR性能,降低了计算复杂度。第三部分针对杂波与干扰环境下的MIMO雷达发射波形与滤波器联合设计问题,提出了三种基于黎曼积流形几何结构的优化算法,即PRM-SD算法、PRM-CG算法以及PRM-TR算法,以求解最大化SINR为目标函数且具有恒模约束的非凸优化问题,实现了恒模波形与滤波器的同步迭代。上述三种算法将该非凸优化问题中两个优化变量的搜索空间构建为欧氏空间与复圆环流形的笛卡尔积,为实现在该积流形上的一阶搜索算法（PRM-SD、PRM-CG）以及二阶搜索算法（PRM-TR）,推导了该积流形的黎曼几何结构以及目标函数在该流形上的黎曼梯度与黎曼Hessian,并分析了上述三种算法的计算复杂度和收敛性,相比于现有算法以及JD-CCM、JD-FRM算法,进一步提高SINR性能的同时降低了计算复杂度。第四部分针对多目标环境下基于信息论准则的MIMO雷达认知波形设计问题,提出了恒模约束下基于流形优化的自适应波形设计（MAWD）方法。该方法首先构建序贯多重假设检验模型,为进一步提高多目标检测概率,以最大化不同假设间的J散度为设计准则,构建恒模约束下的波形优化问题,根据该非凸问题可行解集的几何特性,提出一种基于复圆环流形的优化算法,快速地实现了对环境的动态认知,提高了雷达目标检测性能。