随着MIMO技术在无线通信中的普遍应用，MIMO系统的物理层安全理论也受到了广泛关注。物理层安全是利用无线信道的多样性和时变性以及通信双方信道特征的唯一性和互易性，实现安全传输的技术手段。目前，针对MIMO物理层安全传输方法的研究仍存在以下三个问题：1)当空域冗余不足时，现有基于人工噪声的物理层安全传输方法会对合法用户引入大量噪声，影响其正常接收；2)窃听方可以从信道条件差的用户来获取更多信息，影响整个系统的安全性能；3)部分CSI条件下，安全性能评估存在误差，噪声泄露影响合法用户的接收性能。本文首先建立基于MIMO系统的物理层安全传输模型。然后，在该模型的指导下，针对现有基于人工噪声的物理层安全传输方法对合法用户引入大量噪声的问题，提出了两种无空域冗余下的MIMO系统安全传输算法；针对信道条件差的用户影响整个系统安全性能问题，提出了两种基于联合干扰的MIMO系统安全传输方案；针对安全性能评估存在误差和噪声泄露影响合法用户的接收性能的问题，提出了部分CSI下的MIMO系统安全机制。具体的研究内容包括：1)提出了两种无空域冗余下的MIMO系统安全传输算法提出了一种基于联合信道状态矩阵的安全传输算法。建立联合信道状态矩阵；然后对联合信道状态矩阵进行奇异值分解，并通过预编码抑制人工噪声。仿真分析表明，当MIMO系统不存在空域冗余时，该算法将MIMO系统的保密容量平均增加了0.1bit/s/Hz。提出了一种基于乘性噪声的物理层安全传输算法。该算法不施加人工噪声，只是随机改变预编码，使随机快变元素对合法用户保持透明，相当于对窃听方施加乘性噪声。仿真分析表明，当MIMO系统不存在空域冗余时，该算法将MIMO系统的保密容量平均增加了0.15bit/s/Hz。2)提出了基于联合干扰的MIMO系统安全传输方案提出了基于多用户联合干扰的算法。提出了Max SINR、Max SF、PFBS三种方案针对用户不同的安全需求进行调度，并对窃听方实施联合干扰。仿真分析表明，该算法使系统的保密容量最大可提高2.4bit/s/Hz。提出了一种多基站联合干扰的算法。相邻基站通过灵活的调度上下行传输达到扰乱窃听方的目的。仿真分析表明，当基站发送高斯噪声时，安全速率可以达到上限。3)提出了部分CSI下的MIMO系统安全机制提出了一种联合功率分配的算法。该算法通过调整人工噪声功率分配比例，减少安全性能的估计误差。仿真分析表明该算法使部分CSI下的MIMO系统的保密容量提高了1.5bit/s/Hz。提出了一种波束赋形调整算法。采取预白化干扰和噪声的措施，重新根据等效信道设计发送端和接收端的波束赋形，从而改善合法用户的接收性能。仿真结果表明，该算法使部分CSI下的MIMO系统的合法用户信干噪比提高了12dB。