随着现代科技的不断进步，无线通信系统飞速发展。智能天线作为无线通信系统的关键技术之一，可以使阵列天线主瓣对准期望信号方向并自适应地抑制空间来向未知的干扰，从而抑制多用户干扰并提高系统容量。但当处理的信号和干扰数多于阵列天线的自由度时，智能天线将不能有效工作。近年来，无线通信设备日益增多，电磁干扰问题也越来越严重，电磁兼容日益成为研究的热点。天线系统电磁兼容的优劣极大程度地影响到通信系统的好坏，通过减少天线数量来降低天线对外辐射能量和耦合干扰，是减轻电磁干扰有效可行的方案之一。虚拟天线是在智能天线基础上发展起来的先进技术，主要研究如何增加阵列天线的自由度，以便抑制数目众多的干扰，或者用更少的天线数来处理相同数目的信号，目前的研究主要集中在DOA估计方面。本论文对基于内插变换的虚拟天线作为研究对象，通过理论分析和仿真实验，对其应用于天线波束形成的性能进行了深入研究，在提高干扰抑制增益、降低副瓣电平、减轻内插变换角度敏感效应等方面取得了一些研究成果。本文的主要研究内容如下：1.针对现有的基于内插变换的虚拟天线用于自适应波束形成时，对干扰的抑制增益比较低、副瓣电平偏高和天线阵列输出信干噪比(Signal to Interference and Noise Ratio,SINR)较低的问题，本文首先从理论上分析了现有虚拟天线波束形成方法出现这种问题的原因，发现是由于内插变换过程产生的变换误差使协方差矩阵的特征值和特征矢量出现扰动，并参与波束形成权值计算，造成的波束畸变所致；并推导出影响干扰抑制增益大小的因子。将投影变换的思想引入到虚拟天线中，提出了干扰空间投影(InterferenceSpace Projection, ISP)策略，根据张成干扰空间的基向量的不同，ISP策略有两种具体实现方法，利用协方差矩阵特征分解得到的大特征值对应的特征向量作为基向量形成投影算子，记为ISP-1方法；利用干扰方向的导向矢量作为基向量形成投影算子，记为ISP-2方法，并从理论上证明了ISP策略可以增强虚拟天线协方差矩阵的信号子空间，抑制噪声子空间的小特征值和特征矢量的扰动，从而提高大小特征值强度比，加深虚拟天线波束形成的零陷深度并降低副瓣电平水平。2.针对虚拟天线波束形成抑制独立干扰问题，提出了两种投影虚拟天线波束形成(Projected Virtual Antenna Beam Forming, PVABF)算法，对其抗超自由度干扰的可行性进行了理论分析，通过仿真实验，结果验证了PVABF算法可以有效地增加虚拟天线波束形成的零陷深度，改善副瓣性能，提高了阵列天线输出性能；在性能指标满足系统要求的前提下，不但可以有效地增加阵列天线的自由度，还可以一定程度地扩展阵列天线的孔径。3.针对虚拟天线波束形成抑制相干干扰问题，结合空间平滑技术，在内插空间平滑(Interpolated Spatial Smoothing, ISS)算法的基础上，引入ISP思想，提出了改进的内插空间平滑(Modified Interpolated Spatial Smoothing, MISS)算法，该算法可以提高对相干干扰的抑制增益，改善副瓣性能，对MISS算法的性能进行了理论分析和仿真实验，理论分析和仿真实验的结果证实了算法的有效性，不同的子阵划分方式会影响MISS算法的性能。4.针对现有虚拟天线内插变换技术不能在大的内插区域上有效工作，当出现突发干扰落在变换区域之外时，突发干扰得不到抑制的问题，本文从微分几何的角度，分析了产生角度敏感问题的机理，提出了一种基于流形长度的虚拟天线波束形成方法，该方法可以在大的内插区域内进行插值变换并使误差保持在可接受的范围内，理论分析和仿真实验的结果证实了该方法对到达阵列的所有干扰(包括突发干扰)都能有效地抑制。