随着无线通信新技术的不断发展,无线业务对频谱资源的需求也快速增长,频谱资源的匮乏成为限制无线通信发展的瓶颈之一。然而,现有的无线通信系统大多采用固定频谱分配的频谱授权机制,频谱利用率十分低下。近年来提出的认知无线电技术能够感知并利用空间未被使用的空闲频谱,实现了对频谱资源的动态管理,有效地提高了频谱利用率。波束成形技术是MIMO系统中一种提高覆盖和容量的多天线传输技术,它通过对发送信号进行加权处理,使信号集中目标用户所在的方向,从而有效提高了接收信噪比。同时,将波束成形技术应用在协作通信系统中,利用多用户节点资源形成虚拟多天线,进而进行波束成形的设计,使得多用户传输信号互相正交,消除用户间干扰,有效地提升了系统的性能。本文主要研究协作波束成形技术在认知多用户系统中的应用。首先,本文研究了协作波束成形技术在认知中继网络中的应用。综合考虑了空间频谱动态性和协作链路不同的衰落特性,针对QoS中的带宽、时延、误码率三个指标,提出了一种认知中继网络中基于QoS的传输方法。包括三个步骤：首先为动态的频谱分配过程；其次为基于平均信道增益的中继选择过程；最后,对选出的中继节点设计波束成形矢量。仿真表明该算法满足了用户业务的带宽需求,最小化了用户时延,降低了系统的误码率,在整体上保证了用户的QoS需求,同时增大了系统吞吐量,提高了频谱效率。其次,本文研究了协作波束成形技术在认知蜂窝异构网络中的应用,分析了包含宏小区和微小区的两层网络中存在的不同类型的干扰问题,充分利用了小区分簇机制的优点,以最大化系统总速率为目标,提出了一个基于分簇的分层协作传输和资源分配机制。在簇内进行多小区的协作波束成形,消除簇内干扰；在簇间进行公共子信道的分配,消除簇间干扰。既保证了认知用户对主用户的干扰小于门限值,又消除了次用户间的共信道干扰,同时使系统总速率最大化。仿真表明该算法优于无于扰协调的系统性能。