随着无线通信技术的飞速发展,无线业务迅猛增加,使得频谱资源危机日趋严重。认知无线网络技术的提出,可以提高频谱利用率,增加信道容量,已经成为近年来无线通信领域的研究热点。本文主要研究了overlay模式下的认知无线网络,从用户可以使用主用户的频段与其同时进行通信。在该模式下,从用户发送端具有的认知边信息是主用户的码本和其发送信息。在发送端,从用户通过使用认知边信息转发主用户的信号,以保证主用户的通信质量不受影响,同时使用先进的编译码技术发送自己的信号,以提高从用户的系统性能。脏纸编码是一种非线性预编码技术,常被用于overlay模式下的认知无线网络之中。当发送端已知信道干扰的情况下,使用脏纸编码可以将该干扰完全消除。本论文深入研究了脏纸编码算法理论,分析了它的信道容量,详细介绍了三种适用于认知无线信道的脏纸编码现有方案。现有的脏纸编译码方案通常使用迭代译码算法,因此复杂度较高。基于此,本论文提出了一种低复杂度的脏纸编码方案。该方案适用于单个从用户的认知无线信道,通过成形码选择器的使用,能够根据干扰信号功率的大小,自适应地改变星座图的大小,尽可能缩小码字搜索空间,以此降低系统复杂度。仿真结果显示,该方案以较低的编译码复杂度获得了较满意的误码率性能。为了更加符合实际的认知无线网络,本论文进一步提出了一种适用于多个从用户的MIMO认知无线信道的脏纸编码方案。该方案基于迫零脏纸编码算法和联合格成型技术,不仅能够消除主用户带来的干扰,还能消除多个从用户之间的相互干扰。通过仿真,我们将本论文提出的方案与使用传统格成型技术的方案进行了性能方面的比较,该方案以较小的复杂度损失为代价,获得了较大的性能提升。