本文以MIMO（Multiple-Input Multiple-Output）雷达这一新兴雷达体制为研究对象，紧紧围绕为什么要发展MIMO雷达以及如何设计MIMO雷达系统两个基本理论问题展开：首先研究了信道相关特性和模糊特性两个基础性问题，推导了信道相关特性与系统参数之间的联系，推广了传统雷达模糊函数；其次，分别提出了基于最大化期望（Expectation Maximization，EM）和空间交替广义最大化期望（Space-Alternating Generalized Expectation-Maximization Algorithm，SAGE）算法的MIMO雷达最大似然测向迭代计算方法；再者，建立了MIMO雷达目标参数估计性能分析理论框架，它不但可以用来分析MIMO雷达测向精度、检测和分辨限等基本性能测度，而且还可以用来分析系统辨识能力、流形模糊以及敏感性分析等性能指标；最后，在前述性能框架的基础上给出了相应的系统设计方案。紧凑型MIMO雷达应用波形分集技术可获得良好的分集增益，这使得系统在参数估计以及目标参数辨识等方面存在巨大潜力。本文对MIMO雷达研究、发展现状全面而系统地综述基础上，研究了如下三个部分内容。本文第一部分(基础篇)研究了MIMO雷达信道、模糊特性两个基础问题以及提出了最大似然测向迭代计算方法，具体研究内容包括：(1)给出了MIMO雷达一般信号模型，它是后续研究的基础；(2)研究了MIMO雷达系统中“信道”相关性与系统参数以及测量模型之间的关系：信道的相关性随载频提高、目标尺寸增加、天线间距增大以及探测距离的减小而减弱；(3)推导了MIMO雷达的模糊函数。不同于经典模糊函数，MIMO雷达的模糊函数不仅与发射波形有关，还与天线分布几何有关，并重点分析了双站三角几何对系统模糊性能的影响，因此，该模糊函数为天线分布几何和发射信号设计提供了理论工具；(4)提出了基于最大似然估计的MIMO雷达测向方法。针对其导出的高维非线性优化问题，提出了基于最大化期望和空间交替广义期望最大化的求解算法，并从理论上证明了两种迭代算法收敛且后者的收敛速度优于前者。基于微分几何以及系统辨识理论，本文第二部分(理论篇)建立了MIMO雷达目标参数估计性能分析理论框架，具体研究内容包括：(1)将MIMO雷达虚拟阵列通过导向矢量映射到对应的虚拟阵列流形空间，进而将传统阵列测向性能三限（方向估计精度、检测和分辨限）以及流形模糊理论推广到MIMO雷达系统；(2)从系统辨识的观点考察了MIMO雷达辨识性能，基于维数理论，首先研究了窄带条件下紧凑型MIMO雷达系统辨识能力，而后给出了宽带信号处理基本流程，并进一步分别研究了宽带条件下紧凑型和分散型MIMO雷达辨识能力；(3)从两个不同角度研究了MIMO雷达测向性能相对于天线位置不确定性的敏感性，首先研究了最大似然测向算法的敏感性，得到了敏感性测度和测向模糊限，另一方面，独立于具体的参数估计算法，从MIMO雷达虚拟阵列流形曲面的角度得到了天线重要性函数和系统总的敏感性。MIMO雷达目标参数估计性能分析理论框架可用于给定系统的性能分析，因此为系统设计提供了准则；同时，类似于常用的克拉美—罗下界，对于不针对具体参数估计算法的结论，可以用于参数估计算法性能评估的标准。由第二部分研究得到，作为多天线的MIMO雷达系统，其目标参数估计性能同时决定于天线分布几何以及发射信号集。因此，本文第三部分(应用篇)主要研究了MIMO雷达系统设计问题，重点包含天线几何结构和信号集的设计，具体研究内容包括：(1)相互耦合的参数估计对其性能的影响相当严重，而去耦合的方向估计等价于对应Fisher信息矩阵为对角阵，由此以对角化Fisher信息矩阵为准则，分别推导得到了双站和单站MIMO雷达去耦合方向估计的充要条件；(2)去耦合的天线估计无法保证克拉美—罗下界意义下的系统天线几何最优，进一步提出了最优天线几何设计准则：在给定收发天线数目以及天线限制区域前提下，优化设计天线几何使得系统相应参数估计理论性能最优。分别从两个方面进行考虑，其一，在没有目标方位先验信息的情形下，证明得到各向同性的天线几何是最优的，以此为目标定量地推导得到了天线几何需满足的条件；另一方面，在存在目标方位先验信息的情形下，以平均克拉美—罗下界最小为准则，提出了基于模拟退火算法的求解方法；(3)根据信息论的观点，雷达探测可以看作目标信息传递的过程，信道容量越大则获取的目标信息越多，目标参数辨识与分类的性能有望越优。据此提出了以最大化信道容量为准则的系统和信号设计方案，初步得到了天线几何配置和信号发射策略。综上所述，本文以MIMO雷达测向为重点，建立了包括测向精度、检测与分辨、模糊、辨识能力以及敏感性在内的目标参数估计性能分析理论框架，同时提出了以方向估计去耦合、最优克拉美—罗下界以及最大信道容量为准则的MIMO雷达系统设计方案。全面、系统地回答了本文开篇提出的两个科学问题，值得指出的是本文研究的方法论可推广到分散型MIMO雷达系统、传统阵列信号处理等相关基础理论研究中。