近年来,随着无线通信技术的飞速发展,对高数据速率和大信道容量的需求越来越大。多输入多输出（Multiple Input Multiple Output,MIMO）技术可以在不增加输入功率的情况下,利用多径效应大幅度提高信道容量和频谱效率。理论上,MIMO系统中端口越多,可获得的信道容量越大。然而,更多的天线单元和更小的间距会导致更强的耦合,从而降低MIMO系统的性能。因此,降低互耦、提高隔离度是小型化MIMO天线设计中的关键问题。提高频谱效率的另一种有效方法是采用同频同时全双工（Co-frequency Co-time Full Duplex,CCFD）无线通信技术。CCFD无线通信允许在同一带宽内同时进行发送和接收,这在理论上极大地提高了频谱利用率和信道容量。然而,在CCFD的实现中,多天线系统的强自干扰与弱接收信号之间的大功率差是设计人员面临的一个巨大挑战。因此,实现CCFD通信必须要先解决本地发射机对接收机的自干扰问题。本论文一方面围绕小型化MIMO无线通信系统,提出了单频带、多频带和宽频带MIMO天线设计方案,并对提升天线单元之间隔离度的方法进行了重点研究;另一方面围绕CCFD无线通信系统,提出了收发天线的设计方案,并对本地天线之间的自干扰抑制方法进行了相关研究。本论文的主要工作和创新点如下:1.针对单频带MIMO天线耦合问题,提出一种单频带双元MIMO天线的去耦方法,并应用该方法设计了一款工作于2.4GHz频带上的高隔离度小型化MIMO天线。该天线由两个对称排列的折叠单极子天线单元组成,且单元之间的距离为0.1₀（₀为2.4GHz对应的自由空间波长）。基于路径抵消原理设计了平面螺旋线去耦结构,印刷在天线单元之间,用于减小地板表面耦合电流,以提高隔离度。实测表明,增加去耦结构之后,该MIMO天线在工作频带上实现了良好的设计参数和隔离特性,可以应用于无线局域网（Wireless Local Area Networks,WLAN）等无线通信系统中。2.针对多频带MIMO天线耦合问题,在单频带的基础上,进一步提出一种双频带双元MIMO天线的去耦方法,并应用该方法设计了一款工作于2.4GHz和5GHz频带上的高隔离度小型化MIMO天线。该天线通过在折叠单极子天线单元的基础上增加新的开路枝节实现了双频带工作。去耦结构位于天线单元之间,由平面螺旋线谐振结构（低频带去耦结构）与倒L形陷波结构（高频带去耦结构）组成。实测表明,增加去耦结构之后,该天线在工作频带上实现了良好的设计参数和端口隔离度,可以覆盖2.4/5.2/5.8GHz WLAN等多个工作频段。而且该去耦结构与天线单元的设计是相互独立的,因此可以将其用于其他印制MIMO天线的高隔离设计中。3.针对宽频带MIMO天线耦合问题,提出一种采用正交极化结合去耦结构来实现宽频带去耦的方法,并应用该方法设计了一款高隔离度的宽频带双极化MIMO天线。该天线由两个正交放置的贴片偶极子天线单元组成。为了增加带宽,对偶极子的方形辐射贴片进行了切角和扇形开槽,并且在其末端增加了垂直放置的矩形寄生贴片。为了抑制表面电流,提高端口隔离度,在两个天线的地板之间引入了由平面螺旋线谐振结构与倒L陷波结构组成的去耦单元。实测表明,增加去耦结构之后,该正交极化MIMO天线的工作带宽达到了62%（VSWR<1.5）,平均端口隔离度大于30d B,能够同时覆盖多个不同的工作频段,可以将其应用于移动通信基站设计中。4.针对CCFD无线通信系统自干扰问题,提出一种本地收发天线自干扰抑制方法,并应用该方法设计了一款高隔离度的共线偶极子CCFD收发天线。通过将两个间距为1.43₀（₀为2.45GHz对应的自由空间波长）的共线偶极子分别放置到对方的零辐射方向,并结合提出的自干扰抑制结构,在实现收发天线同极化并全向辐射的同时,使得两者的端口隔离度在14.8%的相对带宽上达到50d B以上。而且增加该自干扰抑制结构之后对收发天线的原有特性参数几乎没有影响。该自干扰抑制结构具有一定的通用性,对于其他的天线类型,可以将其放置在与磁场线相垂直的平面内进行优化,来实现收发天线之间的高隔离特性。该天线自干扰抑制结构可以作为空域消除方法之一,与模拟消除、数字消除方法一起将CCFD自干扰降低到系统可接受的水平。