随着通信技术的不断发展,实际电磁环境日益复杂,并且所能利用的合适频段频谱资源也越来越少,频谱资源已经越来越珍贵,如何提升通信系统的频谱利用率一直是通信领域重点研究的问题。作为一种动态频谱共享接入特性的多址接入技术,变换域通信系统(Transform Domain Communication System,TDCS)在抗干扰通信以及解决上述频谱资源问题上有独特的优势。本文针对复杂电磁环境下,对变换域通信系统的抗干扰性能以及频谱利用率两个方向上展开研究。TDCS作为一种具有低截获和主动抗干扰特点的通信技术,其性能与频谱估计以及接入序列直接相关。本文首先介绍了基于正交频分复用系统(Orthogonal Frequency Division Multiplexing,OFDM)构架的TDCS的基本原理,并探讨了TDCS的频谱感知、调制以及相位映射等关键技术,得出了传统OFDM构架的TDCS多址接入性能低的缺点以及无法有效抑制扫频类干扰。针对TDCS多址接入的问题,本文提出了一种基于分簇结构的TDCS以提升系统用户接入量。将子载波分组(簇)并分配给不同的用户,并且通过序列设计和干扰消除方法以减小用户间干扰提升性能,仿真表明所提出的方法能够大大提升TDCS的系统容量。此外,本文针对TDCS无法有效抑制Chirp类干扰信号的缺点,提出了基于分数阶傅里叶变换的TDCS系统;首先介绍了分数阶傅里叶变换工具,分析了其离散算法的实现,并给出了基于分数阶傅里叶变换的TDCS理论框架,最后进行了仿真验证,从而为TDCS通信架构提供了一条思路。软件定义无线电越来越多用作工业或学术领域作为原型验证工具,软件无线电平台是TDCS系统较佳的原型实现平台。本文最后利用美国国家仪器公司的通用软件定义无线电设备以及使用LabVIEW软件在实际环境下评估了OFDM架构的TDCS多址接入的性能,搭建基于TDCS的频谱共享传输系统,并详细介绍了系统架构、关键技术实现以及测试过程。