无线电频谱作为一种有限的自然资源,具有巨大的经济价值和社会价值。信息与通信产业的飞速发展,带来了社会信息化程度的重大提升和深刻变革,使得移动通信系统对频谱资源的需求快速增长。现有的授权式频谱分配方法有利于干扰管理,但同时也限制了无线频谱资源使用的灵活性。早在2002年,美国联邦通信委员会就已经明确指出:“在许多频段,相比于物理频谱资源的稀缺,频谱接入是一个更为严重的问题,其在很大程度上是由传统的频谱划分方式所致,从而限制了用户接入上述频段的能力”。频谱共享作为一种可有效提升频谱利用率的技术,是保障未来移动通信系统可持续发展的核心。为了保证共享频谱的各用户实现信号的顺利接收与处理,同时保证各用户通信的安全性,有必要研究频谱共享系统中的信号识别技术。本论文围绕频谱共享系统面临的用户参数及身份未知等问题,针对提升频谱利用率的目标及频谱共享系统高效、安全的通信需求,采用算法设计与优化、模型建立与特征提取、性能评估及仿真验证等手段开展了频谱感知、调制识别和发射机识别三类信号识别技术的研究。论文的创新性工作主要包括如下几个方面:1)对于频谱感知技术,考虑共享频谱的各用户间存在非合作的通信关系,非授权用户接收机难以获取授权用户信号先验信息这一问题,基于假设检验理论,提出了一种频谱感知算法,其无需已知任何授权用户信号的先验信息,可适用于多种实际的信道条件,具有实现复杂度低、检测性能高的优点;针对上述非合作频谱共享系统中非授权用户与授权用户采用不同的通信标准,二者帧结构难以同步的问题,采用全双工频谱感知使非授权用户尽可能及时地检测授权用户传输状态的改变,在此基础上,分析并推导了非授权用户的吞吐量性能和最优帧长。2)对于调制识别技术,分别研究了非连续相位调制和连续相位调制在高斯信道下的识别问题。针对非连续相位调制方式,提出了一种基于假设检验理论的调制识别算法,其针对不同的调制方式和信道特性设计相应的识别特征,仿真结果表明,该算法对于平坦衰落等非理想信道具有良好的鲁棒性,有效提升了调制识别性能;针对连续相位调制方式,通过分析连续相位调制信号所具备的记忆特性,提出了一种基于隐式马尔科夫模型的调制识别算法,该算法可对模型中的隐藏变量和未知参数进行估计,适用于平坦衰落信道场景,解决了难以在未知平坦衰落信道中有效识别连续相位调制方式的问题。3)对于调制识别技术,考虑频率选择性衰落信道,针对传统的单用户场景,提出了一种基于似然的调制识别方案,其利用期望最大化算法,通过设计有效的“完整数据”对未知的信道系数进行估计,将难以求解的原问题简化为多个独立可解的简单问题,实现了频率选择性衰落信道下单用户调制识别。在单用户场景下,推导了未知信道参数的估计误差下界及识别算法的性能上界。将上述单用户场景进行扩展,考虑多用户调制识别问题,利用类似的思路,通过设计有效的“完整数据”,实现了频率选择性衰落信道下多用户调制识别。4)对于发射机识别技术,将发射机功率放大器的非线性特征进行建模,以表征不同发射机的硬件特征。针对传统的点对点单跳场景,考虑多种非理想信道,其会对发射机硬件特征带来畸变,在此基础上,将单跳场景扩展至多跳场景,中间设备对源信号的放大转发过程将引入其自身的发射机硬件特征,从而对源发射机的硬件特征造成污染。针对上述两种场景,基于自适应时频分析理论,提出了三种发射机识别算法。仿真结果表明,所提算法可以有效提升识别性能,并可有效对抗上述场景对识别带来的不利影响。